History

Pikachú 5d34bc4eb8 Add support documentation and translations for various lessons		2025-02-12 16:09:04 +00:00
..
README.md	Add support documentation and translations for various lessons	2025-02-12 16:09:04 +00:00

README.md

मल्टी-मोडल नेटवर्क्स

NLP कार्यों को हल करने के लिए ट्रांसफार्मर मॉडल की सफलता के बाद, समान या समान आर्किटेक्चर को कंप्यूटर विज़न कार्यों पर लागू किया गया है। ऐसे मॉडलों का निर्माण करने में बढ़ती रुचि है जो दृष्टि और प्राकृतिक भाषा क्षमताओं को संयोजित करेंगे। ऐसे प्रयासों में से एक OpenAI द्वारा किया गया था, और इसे CLIP और DALL.E कहा जाता है।

कंट्रास्टिव इमेज प्री-ट्रेनिंग (CLIP)

CLIP का मुख्य विचार यह है कि यह टेक्स्ट प्रॉम्प्ट्स की तुलना एक छवि के साथ कर सके और यह निर्धारित कर सके कि छवि प्रॉम्प्ट के साथ कितनी अच्छी तरह मेल खाती है।

चित्र इस ब्लॉग पोस्ट से

मॉडल को इंटरनेट से प्राप्त छवियों और उनके कैप्शन पर प्रशिक्षित किया गया है। प्रत्येक बैच के लिए, हम (छवि, टेक्स्ट) के N जोड़ों को लेते हैं, और उन्हें कुछ वेक्टर प्रतिनिधित्व में परिवर्तित करते हैं। वे प्रतिनिधित्व फिर एक साथ मिलाए जाते हैं। लॉस फंक्शन को एक जोड़े (जैसे I और T) के लिए संबंधित वेक्टरों के बीच कोसाइन समानता को अधिकतम करने के लिए परिभाषित किया गया है, और सभी अन्य जोड़ों के बीच कोसाइन समानता को न्यूनतम करने के लिए। यही कारण है कि इस दृष्टिकोण को कंट्रास्टिव कहा जाता है।

CLIP मॉडल/लाइब्रेरी OpenAI GitHub से उपलब्ध है। इस दृष्टिकोण का वर्णन इस ब्लॉग पोस्ट में किया गया है, और अधिक विस्तार में इस पेपर में।

एक बार जब इस मॉडल को प्री-ट्रेन किया जाता है, तो हम इसे छवियों का एक बैच और टेक्स्ट प्रॉम्प्ट्स का एक बैच दे सकते हैं, और यह हमें संभावनाओं के साथ टेन्सर लौटाएगा। CLIP का उपयोग कई कार्यों के लिए किया जा सकता है:

छवि वर्गीकरण

मान लीजिए कि हमें छवियों को, कहने के लिए, बिल्लियों, कुत्तों और मनुष्यों के बीच वर्गीकृत करने की आवश्यकता है। इस मामले में, हम मॉडल को एक छवि और टेक्स्ट प्रॉम्प्ट्स की एक श्रृंखला दे सकते हैं: "बिल्ली की तस्वीर", "कुत्ते की तस्वीर", "मनुष्य की तस्वीर"। परिणामस्वरूप 3 संभावनाओं के वेक्टर में, हमें बस उच्चतम मूल्य वाला अनुक्रमांक चुनना है।

चित्र इस ब्लॉग पोस्ट से

टेक्स्ट-आधारित छवि खोज

हम इसके विपरीत भी कर सकते हैं। यदि हमारे पास छवियों का एक संग्रह है, तो हम इस संग्रह को मॉडल को पास कर सकते हैं, और एक टेक्स्ट प्रॉम्प्ट - यह हमें उस छवि को देगा जो दिए गए प्रॉम्प्ट के साथ सबसे अधिक समान है।

✍️ उदाहरण: CLIP का उपयोग करके छवि वर्गीकरण और छवि खोज

CLIP को क्रियान्वित करने के लिए Clip.ipynb नोटबुक खोलें।

VQGAN+ CLIP के साथ छवि निर्माण

CLIP का उपयोग टेक्स्ट प्रॉम्प्ट से छवि निर्माण के लिए भी किया जा सकता है। ऐसा करने के लिए, हमें एक जनरेटर मॉडल की आवश्यकता है जो कुछ वेक्टर इनपुट के आधार पर छवियां उत्पन्न कर सके। ऐसे मॉडलों में से एक को VQGAN (वेक्टर-क्वांटाइज्ड GAN) कहा जाता है।

VQGAN के मुख्य विचार जो इसे साधारण GAN से अलग करते हैं, निम्नलिखित हैं:

छवि को बनाने वाले संदर्भ-समृद्ध दृश्य भागों की एक श्रृंखला उत्पन्न करने के लिए ऑटोरेग्रेसिव ट्रांसफार्मर आर्किटेक्चर का उपयोग करना। ये दृश्य भाग CNN द्वारा सीखे जाते हैं।
उप-छवि विभेदक का उपयोग करना जो यह पहचानता है कि छवि के भाग "वास्तविक" हैं या "नकली" (पारंपरिक GAN में "सभी या कुछ नहीं" दृष्टिकोण के विपरीत)।

VQGAN के बारे में अधिक जानने के लिए Taming Transformers वेबसाइट पर जाएं।

VQGAN और पारंपरिक GAN के बीच एक महत्वपूर्ण अंतर यह है कि बाद वाला किसी भी इनपुट वेक्टर से एक उचित छवि उत्पन्न कर सकता है, जबकि VQGAN संभवतः एक छवि उत्पन्न करेगा जो सामंजस्यपूर्ण नहीं होगी। इसलिए, हमें छवि निर्माण प्रक्रिया को आगे निर्देशित करने की आवश्यकता है, और यह CLIP का उपयोग करके किया जा सकता है।

टेक्स्ट प्रॉम्प्ट के अनुसार छवि उत्पन्न करने के लिए, हम एक यादृच्छिक एन्कोडिंग वेक्टर से शुरू करते हैं जो VQGAN के माध्यम से पास किया जाता है ताकि एक छवि उत्पन्न की जा सके। फिर CLIP का उपयोग लॉस फंक्शन उत्पन्न करने के लिए किया जाता है जो दिखाता है कि छवि टेक्स्ट प्रॉम्प्ट के साथ कितनी अच्छी तरह मेल खाती है। लक्ष्य फिर इस लॉस को न्यूनतम करना है, बैक प्रॉपगेशन का उपयोग करके इनपुट वेक्टर पैरामीटर को समायोजित करना है।

VQGAN+CLIP को लागू करने वाली एक शानदार लाइब्रेरी Pixray है।


एक किताब के साथ युवा पुरुष साहित्य शिक्षक का एक करीबी जलरंग पोर्ट्रेट प्रॉम्प्ट से उत्पन्न चित्र	एक कंप्यूटर के साथ युवा महिला कंप्यूटर विज्ञान शिक्षक का एक करीबी तेल पोर्ट्रेट प्रॉम्प्ट से उत्पन्न चित्र	कालेबोर्ड के सामने पुराने पुरुष गणित शिक्षक का एक करीबी तेल पोर्ट्रेट प्रॉम्प्ट से उत्पन्न चित्र

आर्टिफिशियल टीचर्स संग्रह से चित्र Dmitry Soshnikov द्वारा

DALL-E

DALL-E 1

DALL-E एक GPT-3 का संस्करण है जिसे प्रॉम्प्ट से छवियां उत्पन्न करने के लिए प्रशिक्षित किया गया है। इसे 12 अरब पैरामीटर के साथ प्रशिक्षित किया गया है।

CLIP के विपरीत, DALL-E टेक्स्ट और छवि दोनों को छवियों और टेक्स्ट के लिए एकल टोकन स्ट्रीम के रूप में प्राप्त करता है। इसलिए, कई प्रॉम्प्ट्स से, आप टेक्स्ट के आधार पर छवियां उत्पन्न कर सकते हैं।

DALL-E 2

DALL-E 1 और 2 के बीच मुख्य अंतर यह है कि यह अधिक यथार्थवादी छवियां और कला उत्पन्न करता है।

DALL-E के साथ छवि निर्माण के उदाहरण:


एक किताब के साथ युवा पुरुष साहित्य शिक्षक का एक करीबी जलरंग पोर्ट्रेट प्रॉम्प्ट से उत्पन्न चित्र	एक कंप्यूटर के साथ युवा महिला कंप्यूटर विज्ञान शिक्षक का एक करीबी तेल पोर्ट्रेट प्रॉम्प्ट से उत्पन्न चित्र	कालेबोर्ड के सामने पुराने पुरुष गणित शिक्षक का एक करीबी तेल पोर्ट्रेट प्रॉम्प्ट से उत्पन्न चित्र

संदर्भ

अस्वीकृति:
यह दस्तावेज़ मशीन-आधारित एआई अनुवाद सेवाओं का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयासरत हैं, कृपया ध्यान दें कि स्वचालित अनुवादों में त्रुटियाँ या अशुद्धियाँ हो सकती हैं। मूल दस्तावेज़ को उसकी मूल भाषा में अधिकृत स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम जिम्मेदार नहीं हैं।