AI-For-Beginners/translations/sk/lessons/X-Extras/X1-MultiModal

Multi-modálne siete

Po úspechu transformerových modelov pri riešení úloh spracovania prirodzeného jazyka (NLP) sa rovnaké alebo podobné architektúry začali aplikovať aj na úlohy počítačového videnia. Rastie záujem o vytváranie modelov, ktoré by kombinovali schopnosti videnia a spracovania prirodzeného jazyka. Jedným z takýchto pokusov je model od OpenAI nazývaný CLIP a DALL.E.

Kontrastívne predtrénovanie obrazov (CLIP)

Hlavnou myšlienkou CLIP je schopnosť porovnávať textové podnety s obrázkom a určiť, ako dobre obrázok zodpovedá danému podnetu.

Obrázok z tohto blogového príspevku

Model je trénovaný na obrázkoch získaných z internetu a ich popisoch. Pre každú dávku vezmeme N párov (obrázok, text) a prevedieme ich na vektorové reprezentácie I, ..., T. Tieto reprezentácie sa potom navzájom porovnávajú. Strata je definovaná tak, aby maximalizovala kosínovú podobnosť medzi vektormi zodpovedajúcimi jednému páru (napr. I a T) a minimalizovala kosínovú podobnosť medzi všetkými ostatnými pármi. Preto sa tento prístup nazýva kontrastívny.

Model/knižnica CLIP je dostupná na GitHube OpenAI. Tento prístup je popísaný v tomto blogovom príspevku a podrobnejšie v tomto článku.

Po predtrénovaní modelu mu môžeme poskytnúť dávku obrázkov a dávku textových podnetov, pričom výsledkom bude tenzor s pravdepodobnosťami. CLIP sa dá použiť na niekoľko úloh:

Klasifikácia obrázkov

Predpokladajme, že potrebujeme klasifikovať obrázky, napríklad medzi mačkami, psami a ľuďmi. V tomto prípade môžeme modelu poskytnúť obrázok a sériu textových podnetov: "obrázok mačky", "obrázok psa", "obrázok človeka". Vo výslednom vektore s 3 pravdepodobnosťami stačí vybrať index s najvyššou hodnotou.

Obrázok z tohto blogového príspevku

Vyhľadávanie obrázkov na základe textu

Môžeme postupovať aj opačne. Ak máme kolekciu obrázkov, môžeme túto kolekciu poskytnúť modelu spolu s textovým podnetom – výsledkom bude obrázok, ktorý je najviac podobný danému podnetu.

✍️ Príklad: Použitie CLIP na klasifikáciu obrázkov a vyhľadávanie obrázkov

Otvorte Clip.ipynb notebook, aby ste videli CLIP v akcii.

Generovanie obrázkov s VQGAN+CLIP

CLIP sa dá použiť aj na generovanie obrázkov z textového podnetu. Na to potrebujeme generátorový model, ktorý dokáže generovať obrázky na základe nejakého vektorového vstupu. Jedným z takýchto modelov je VQGAN (Vector-Quantized GAN).

Hlavné myšlienky VQGAN, ktoré ho odlišujú od bežného GAN, sú nasledovné:

• Použitie autoregresívnej transformerovej architektúry na generovanie sekvencie kontextovo bohatých vizuálnych častí, ktoré tvoria obrázok. Tieto vizuálne časti sa učia pomocou CNN.
• Použitie diskriminátora sub-obrázkov, ktorý zisťuje, či časti obrázka sú "skutočné" alebo "falošné" (na rozdiel od prístupu "všetko alebo nič" v tradičných GAN).

Viac o VQGAN sa dozviete na webovej stránke Taming Transformers.

Jedným z dôležitých rozdielov medzi VQGAN a tradičným GAN je, že tradičný GAN dokáže vytvoriť slušný obrázok z akéhokoľvek vstupného vektora, zatiaľ čo VQGAN pravdepodobne vytvorí obrázok, ktorý nebude koherentný. Preto je potrebné ďalej usmerňovať proces tvorby obrázka, čo sa dá dosiahnuť pomocou CLIP.

Na generovanie obrázka zodpovedajúceho textovému podnetu začíname s náhodným kódovacím vektorom, ktorý prechádza cez VQGAN a vytvára obrázok. Potom sa použije CLIP na vytvorenie stratovej funkcie, ktorá ukazuje, ako dobre obrázok zodpovedá textovému podnetu. Cieľom je minimalizovať túto stratu pomocou spätného šírenia na úpravu parametrov vstupného vektora.

Skvelá knižnica, ktorá implementuje VQGAN+CLIP, je Pixray.

Obrázok vytvorený z podnetu detailný akvarelový portrét mladého učiteľa literatúry s knihou	Obrázok vytvorený z podnetu detailný olejový portrét mladej učiteľky informatiky s počítačom	Obrázok vytvorený z podnetu detailný olejový portrét starého učiteľa matematiky pred tabuľou

Obrázky z kolekcie Umelí učitelia od Dmitry Soshnikov

DALL-E

DALL-E 1

DALL-E je verzia GPT-3 trénovaná na generovanie obrázkov z podnetov. Bol trénovaný s 12 miliardami parametrov.

Na rozdiel od CLIP prijíma DALL-E text aj obrázok ako jeden tok tokenov pre obrázky aj text. Preto je možné z viacerých podnetov generovať obrázky na základe textu.

DALL-E 2

Hlavný rozdiel medzi DALL-E 1 a 2 je v tom, že DALL-E 2 generuje realistickejšie obrázky a umenie.

Príklady generovania obrázkov s DALL-E:

Obrázok vytvorený z podnetu detailný akvarelový portrét mladého učiteľa literatúry s knihou	Obrázok vytvorený z podnetu detailný olejový portrét mladej učiteľky informatiky s počítačom	Obrázok vytvorený z podnetu detailný olejový portrét starého učiteľa matematiky pred tabuľou

Referencie

• Článok o VQGAN: Taming Transformers for High-Resolution Image Synthesis
• Článok o CLIP: Learning Transferable Visual Models From Natural Language Supervision

Zrieknutie sa zodpovednosti:
Tento dokument bol preložený pomocou služby AI prekladu Co-op Translator. Aj keď sa snažíme o presnosť, prosím, berte na vedomie, že automatizované preklady môžu obsahovať chyby alebo nepresnosti. Pôvodný dokument v jeho rodnom jazyku by mal byť považovaný za autoritatívny zdroj. Pre kritické informácie sa odporúča profesionálny ľudský preklad. Nenesieme zodpovednosť za akékoľvek nedorozumenia alebo nesprávne interpretácie vyplývajúce z použitia tohto prekladu.