7.8 KiB
भाषा मॉडेलिंग
Word2Vec आणि GloVe सारख्या सेमॅंटिक एम्बेडिंग्स प्रत्यक्षात भाषा मॉडेलिंगकडे जाण्याचा पहिला टप्पा आहेत - असे मॉडेल तयार करणे जे काही प्रमाणात भाषेचे समजून घेणे (किंवा प्रतिनिधित्व करणे) शक्य करतात.
पूर्व-व्याख्यान प्रश्नमंजुषा
भाषा मॉडेलिंगमागील मुख्य कल्पना म्हणजे त्यांना लेबल नसलेल्या डेटासेट्सवर अनसुपरवाइज्ड पद्धतीने प्रशिक्षण देणे. हे महत्त्वाचे आहे कारण आपल्याकडे प्रचंड प्रमाणात लेबल नसलेला मजकूर उपलब्ध आहे, तर लेबल असलेल्या मजकुराचे प्रमाण नेहमीच लेबलिंगसाठी लागणाऱ्या प्रयत्नांवर मर्यादित असेल. बहुतेक वेळा, आपण असे भाषा मॉडेल तयार करू शकतो जे मजकुरातील हरवलेले शब्द भाकीत करू शकतात, कारण मजकुरातील एखादा शब्द सहजपणे लपवता येतो आणि तो प्रशिक्षण नमुना म्हणून वापरता येतो.
एम्बेडिंग्सचे प्रशिक्षण
आपल्या मागील उदाहरणांमध्ये, आपण पूर्व-प्रशिक्षित सेमॅंटिक एम्बेडिंग्स वापरल्या, परंतु हे पाहणे मनोरंजक आहे की त्या एम्बेडिंग्स कशा प्रशिक्षण दिल्या जाऊ शकतात. यासाठी काही शक्य कल्पना आहेत:
- N-Gram भाषा मॉडेलिंग, जिथे आपण N मागील टोकन पाहून एखादे टोकन भाकीत करतो (N-gram).
- कंटिन्युअस बॅग-ऑफ-वर्ड्स (CBoW), जिथे आपण टोकन सिक्वेन्समधील मध्यवर्ती टोकन
W_0भाकीत करतोW_{-N}, ...,W_N. - स्किप-ग्राम, जिथे आपण मध्यवर्ती टोकन
W_0पासून शेजारील टोकनांचा संच {W_{-N},\dots, W_{-1}, W_1,\dots, W_N} भाकीत करतो.
प्रतिमा या पेपरमधून
✍️ उदाहरण नोटबुक्स: CBoW मॉडेलचे प्रशिक्षण
खालील नोटबुक्समध्ये तुमचे शिक्षण सुरू ठेवा:
निष्कर्ष
मागील धड्यात आपण पाहिले की शब्द एम्बेडिंग्स जादूसारखे कार्य करतात! आता आपल्याला माहित आहे की शब्द एम्बेडिंग्सचे प्रशिक्षण देणे फारसे गुंतागुंतीचे काम नाही, आणि गरज पडल्यास आपण विशिष्ट क्षेत्रातील मजकुरासाठी स्वतःचे शब्द एम्बेडिंग्स तयार करू शकतो.
व्याख्यानानंतरची प्रश्नमंजुषा
पुनरावलोकन आणि स्व-अभ्यास
- PyTorch वरील अधिकृत भाषा मॉडेलिंग ट्युटोरियल.
- Word2Vec मॉडेलचे प्रशिक्षण देण्यासाठी TensorFlow वरील अधिकृत ट्युटोरियल.
- gensim फ्रेमवर्क वापरून काही ओळींच्या कोडमध्ये सर्वसामान्यपणे वापरल्या जाणाऱ्या एम्बेडिंग्सचे प्रशिक्षण कसे द्यावे हे या दस्तऐवजात वर्णन केले आहे.
🚀 असाइनमेंट: स्किप-ग्राम मॉडेलचे प्रशिक्षण द्या
प्रयोगशाळेत, आम्ही तुम्हाला या धड्याच्या कोडमध्ये बदल करून CBoW ऐवजी स्किप-ग्राम मॉडेलचे प्रशिक्षण देण्याचे आव्हान देतो. तपशील वाचा
अस्वीकरण:
हा दस्तऐवज AI भाषांतर सेवा Co-op Translator चा वापर करून भाषांतरित करण्यात आला आहे. आम्ही अचूकतेसाठी प्रयत्नशील असलो तरी, कृपया लक्षात घ्या की स्वयंचलित भाषांतरांमध्ये त्रुटी किंवा अचूकतेचा अभाव असू शकतो. मूळ भाषेतील मूळ दस्तऐवज हा अधिकृत स्रोत मानला जावा. महत्त्वाच्या माहितीसाठी, व्यावसायिक मानवी भाषांतराची शिफारस केली जाते. या भाषांतराचा वापर केल्यामुळे उद्भवणाऱ्या कोणत्याही गैरसमज किंवा चुकीच्या अर्थासाठी आम्ही जबाबदार राहणार नाही.