AI-For-Beginners/translations/ur/lessons/5-NLP/15-LanguageModeling

زبان ماڈلنگ

سمینٹک ایمبیڈنگز، جیسے Word2Vec اور GloVe، دراصل زبان ماڈلنگ کی طرف پہلا قدم ہیں - ایسے ماڈلز بنانا جو کسی طرح زبان کی فطرت کو سمجھتے (یا نمائندگی کرتے) ہیں۔

لیکچر سے پہلے کا کوئز

زبان ماڈلنگ کے پیچھے بنیادی خیال یہ ہے کہ انہیں بغیر لیبل والے ڈیٹا سیٹس پر غیر نگرانی شدہ طریقے سے تربیت دی جائے۔ یہ اس لیے اہم ہے کیونکہ ہمارے پاس بغیر لیبل والے متن کی بڑی مقدار دستیاب ہے، جبکہ لیبل والے متن کی مقدار ہمیشہ محدود ہوگی کیونکہ لیبلنگ پر خرچ ہونے والی محنت محدود ہوتی ہے۔ اکثر اوقات، ہم ایسے زبان ماڈلز بنا سکتے ہیں جو غائب الفاظ کی پیش گوئی کر سکیں، کیونکہ متن میں کسی بھی بے ترتیب لفظ کو ماسک کرنا اور اسے تربیتی نمونے کے طور پر استعمال کرنا آسان ہے۔

ایمبیڈنگز کی تربیت

پچھلی مثالوں میں، ہم نے پہلے سے تربیت یافتہ سمینٹک ایمبیڈنگز استعمال کیں، لیکن یہ دیکھنا دلچسپ ہے کہ یہ ایمبیڈنگز کیسے تربیت دی جا سکتی ہیں۔ کئی ممکنہ خیالات ہیں جو استعمال کیے جا سکتے ہیں:

• N-Gram زبان ماڈلنگ، جہاں ہم N پچھلے ٹوکنز کو دیکھ کر ایک ٹوکن کی پیش گوئی کرتے ہیں (N-gram)۔
• Continuous Bag-of-Words (CBoW)، جہاں ہم ٹوکن سیکوئنس W_{-N}, ..., W_N میں درمیانی ٹوکن W_0 کی پیش گوئی کرتے ہیں۔
• Skip-gram، جہاں ہم درمیانی ٹوکن W_0 سے پڑوسی ٹوکنز {W_{-N},\dots, W_{-1}, W_1,\dots, W_N} کی پیش گوئی کرتے ہیں۔

تصویر اس پیپر سے لی گئی ہے۔

✍️ مثال نوٹ بکس: CBoW ماڈل کی تربیت

اپنی تعلیم کو درج ذیل نوٹ بکس میں جاری رکھیں:

• TensorFlow کے ساتھ CBoW Word2Vec کی تربیت
• PyTorch کے ساتھ CBoW Word2Vec کی تربیت

نتیجہ

پچھلے سبق میں ہم نے دیکھا کہ الفاظ کی ایمبیڈنگز جادو کی طرح کام کرتی ہیں! اب ہم جانتے ہیں کہ الفاظ کی ایمبیڈنگز کی تربیت کوئی بہت پیچیدہ کام نہیں ہے، اور اگر ضرورت ہو تو ہم اپنے مخصوص ڈومین کے متن کے لیے اپنی ایمبیڈنگز تربیت دے سکتے ہیں۔

لیکچر کے بعد کا کوئز

جائزہ اور خود مطالعہ

• PyTorch کی آفیشل زبان ماڈلنگ ٹیوٹوریل۔
• TensorFlow کی آفیشل Word2Vec ماڈل تربیت کی ٹیوٹوریل۔
• gensim فریم ورک کا استعمال کرتے ہوئے چند لائنز کوڈ میں سب سے زیادہ استعمال ہونے والی ایمبیڈنگز کی تربیت اس دستاویز میں بیان کی گئی ہے۔

🚀 اسائنمنٹ: Skip-Gram ماڈل کی تربیت کریں

لیب میں، ہم آپ کو چیلنج دیتے ہیں کہ اس سبق کے کوڈ میں ترمیم کریں تاکہ CBoW کی بجائے Skip-Gram ماڈل تربیت دی جا سکے۔ تفصیلات پڑھیں۔

---