AI-For-Beginners/translations/hi/lessons/5-NLP/15-LanguageModeling

भाषा मॉडलिंग

सामान्य एम्बेडिंग्स, जैसे Word2Vec और GloVe, वास्तव में भाषा मॉडलिंग की दिशा में पहला कदम हैं - ऐसे मॉडल बनाना जो किसी तरह भाषा की प्रकृति को समझते (या प्रतिनिधित्व करते) हैं।

प्री-लेक्चर क्विज़

भाषा मॉडलिंग के पीछे मुख्य विचार यह है कि इन्हें बिना लेबल वाले डेटा सेट्स पर असुपरवाइज्ड तरीके से प्रशिक्षित किया जाए। यह इसलिए महत्वपूर्ण है क्योंकि हमारे पास बिना लेबल वाले टेक्स्ट की बहुत बड़ी मात्रा उपलब्ध है, जबकि लेबल वाले टेक्स्ट की मात्रा हमेशा सीमित होगी, क्योंकि लेबलिंग में काफी प्रयास लगता है। अक्सर, हम ऐसे भाषा मॉडल बना सकते हैं जो टेक्स्ट में गायब शब्दों की भविष्यवाणी कर सकें, क्योंकि टेक्स्ट में किसी रैंडम शब्द को छिपाना और उसे एक प्रशिक्षण नमूने के रूप में उपयोग करना आसान है।

एम्बेडिंग्स का प्रशिक्षण

पिछले उदाहरणों में, हमने प्री-ट्रेंड सामान्य एम्बेडिंग्स का उपयोग किया था, लेकिन यह देखना दिलचस्प है कि इन एम्बेडिंग्स को कैसे प्रशिक्षित किया जा सकता है। इसके लिए कई संभावित विचार हैं:

• एन-ग्राम भाषा मॉडलिंग, जिसमें हम पिछले N टोकन्स को देखकर एक टोकन की भविष्यवाणी करते हैं (N-ग्राम)।
• कंटीन्युअस बैग-ऑफ-वर्ड्स (CBoW), जिसमें हम टोकन अनुक्रम W_{-N}, ..., W_N में मध्य टोकन W_0 की भविष्यवाणी करते हैं।
• स्किप-ग्राम, जिसमें हम मध्य टोकन W_0 से पड़ोसी टोकन्स {W_{-N},\dots, W_{-1}, W_1,\dots, W_N} के सेट की भविष्यवाणी करते हैं।

छवि इस पेपर से ली गई है

✍️ उदाहरण नोटबुक्स: CBoW मॉडल का प्रशिक्षण

निम्नलिखित नोटबुक्स में अपनी सीख जारी रखें:

• TensorFlow के साथ CBoW Word2Vec का प्रशिक्षण
• PyTorch के साथ CBoW Word2Vec का प्रशिक्षण

निष्कर्ष

पिछले पाठ में हमने देखा कि शब्द एम्बेडिंग्स जादू की तरह काम करते हैं! अब हम जानते हैं कि शब्द एम्बेडिंग्स का प्रशिक्षण कोई बहुत जटिल कार्य नहीं है, और यदि आवश्यकता हो तो हम डोमेन-विशिष्ट टेक्स्ट के लिए अपने स्वयं के शब्द एम्बेडिंग्स प्रशिक्षित कर सकते हैं।

पोस्ट-लेक्चर क्विज़

समीक्षा और स्व-अध्ययन

• भाषा मॉडलिंग पर आधिकारिक PyTorch ट्यूटोरियल।
• Word2Vec मॉडल के प्रशिक्षण पर आधिकारिक TensorFlow ट्यूटोरियल।
• gensim फ्रेमवर्क का उपयोग करके कुछ पंक्तियों के कोड में सबसे सामान्य एम्बेडिंग्स को प्रशिक्षित करने का विवरण इस दस्तावेज़ में दिया गया है।

🚀 असाइनमेंट: स्किप-ग्राम मॉडल का प्रशिक्षण

लैब में, हम आपको इस पाठ के कोड को संशोधित करके स्किप-ग्राम मॉडल प्रशिक्षित करने की चुनौती देते हैं। विवरण पढ़ें

अस्वीकरण:
यह दस्तावेज़ AI अनुवाद सेवा Co-op Translator का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयासरत हैं, कृपया ध्यान दें कि स्वचालित अनुवाद में त्रुटियां या अशुद्धियां हो सकती हैं। मूल भाषा में उपलब्ध मूल दस्तावेज़ को प्रामाणिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं।