AI-For-Beginners/translations/ur/lessons/5-NLP

قدرتی زبان کی پروسیسنگ

اس سیکشن میں، ہم نیورل نیٹ ورکس کا استعمال کرتے ہوئے قدرتی زبان کی پروسیسنگ (NLP) سے متعلقہ کاموں پر توجہ مرکوز کریں گے۔ بہت سے NLP مسائل ہیں جنہیں ہم چاہتے ہیں کہ کمپیوٹر حل کر سکیں:

• متن کی درجہ بندی ایک عام درجہ بندی کا مسئلہ ہے جو متن کے سلسلوں سے متعلق ہوتا ہے۔ مثال کے طور پر ای میل پیغامات کو اسپیم اور نان اسپیم میں درجہ بندی کرنا، یا مضامین کو کھیل، کاروبار، سیاست وغیرہ میں تقسیم کرنا۔ اس کے علاوہ، جب چیٹ بوٹس تیار کرتے ہیں، تو اکثر ہمیں سمجھنا ہوتا ہے کہ صارف کیا کہنا چاہتا تھا -- اس صورت میں ہم نیّت کی درجہ بندی سے نمٹ رہے ہوتے ہیں۔ اکثر، نیّت کی درجہ بندی میں ہمیں کئی اقسام سے نمٹنا پڑتا ہے۔
• جذباتی تحلیل ایک عام ریگریشن مسئلہ ہے، جہاں ہمیں جملے کے مثبت/منفی مطلب کے مطابق ایک نمبر (جذبہ) تفویض کرنا ہوتا ہے۔ جذباتی تحلیل کا ایک زیادہ ترقی یافتہ ورژن پہلو پر مبنی جذباتی تحلیل (ABSA) ہے، جہاں ہم جذبات کو پورے جملے کے بجائے اس کے مختلف حصوں (پہلوؤں) سے منسوب کرتے ہیں، مثلاً اس ریستوران میں میں نے کھانے کو پسند کیا، لیکن ماحول خراب تھا۔
• نامزد کردہ اکائی شناخت (NER) سے مراد متن سے مخصوص اکائیوں کو نکالنے کا مسئلہ ہے۔ مثال کے طور پر، ہمیں سمجھنا ہو سکتا ہے کہ جملے مجھے کل پیرس جانا ہے میں لفظ کل تاریخ کی نمائندگی کرتا ہے، اور پیرس ایک مقام ہے۔
• اہم الفاظ نکالنا NER سے ملتا جلتا ہے، لیکن ہمیں جملے کے مطلب کے لیے اہم الفاظ خودکار طور پر نکالنے ہوتے ہیں، بغیر کسی خاص اکائی کی قسم کے لیے پیشگی تربیت کے۔
• متن کا کلسٹرنگ اس وقت مفید ہو سکتا ہے جب ہم مماثل جملوں کو ایک ساتھ گروپ کرنا چاہتے ہوں، مثلاً تکنیکی مدد کی گفتگو میں مماثل درخواستیں۔
• سوال جواب دینا ایک ماڈل کی صلاحیت کو کہتے ہیں کہ وہ ایک مخصوص سوال کا جواب دے سکے۔ ماڈل کو ایک متن کا حصہ اور سوال بطور ان پٹ ملتا ہے، اور اسے متن میں اس جگہ کی نشاندہی کرنی ہوتی ہے جہاں سوال کا جواب موجود ہو (یا کبھی کبھار جواب کا متن پیدا کرنا ہوتا ہے)۔
• متن کی تخلیق ماڈل کی وہ صلاحیت ہے جو نیا متن تخلیق کر سکے۔ اسے ایک درجہ بندی کا مسئلہ سمجھا جا سکتا ہے جو اگلے حرف/لفظ کی پیش گوئی کرتا ہے کسی متنی اشارے کی بنیاد پر۔ جدید متن تخلیقی ماڈل، جیسے GPT-3، دیگر NLP کام حل کرنے کے قابل ہیں جیسے درجہ بندی، جسے پرومپٹ پروگرامنگ یا پرومپٹ انجینئرنگ کہتے ہیں۔
• متن کا خلاصہ ایک تکنیک ہے جب ہم کمپیوٹر سے چاہتے ہیں کہ وہ طویل متن "پڑے" اور اسے چند جملوں میں خلاصہ کرے۔
• مشین ترجمہ کو ایک زبان کے متن کی سمجھ اور دوسری زبان کے متن کی تخلیق کے امتزاج کے طور پر دیکھا جا سکتا ہے۔

شروع میں، زیادہ تر NLP کام روایتی طریقوں جیسے قواعد سے حل کیے جاتے تھے۔ مثال کے طور پر، مشین ترجمہ میں جملے کو ترتیب درخت میں تبدیل کرنے کے لیے پارسر استعمال کیے جاتے تھے، پھر جملے کے مطلب کی نمائندگی کے لیے اعلیٰ سطحی معنوی ڈھانچے نکالے جاتے تھے، اور اس مطلب اور ہدف زبان کے قواعد کی بنیاد پر نتیجہ تیار کیا جاتا تھا۔ آج کل، بہت سے NLP کام نیورل نیٹ ورکس کی مدد سے زیادہ مؤثر طریقے سے حل کیے جاتے ہیں۔

بہت سے کلاسیکی NLP طریقے Natural Language Processing Toolkit (NLTK) پائتھن لائبریری میں نافذ کیے گئے ہیں۔ ایک بہترین NLTK کتاب آن لائن دستیاب ہے جو بتاتی ہے کہ مختلف NLP کام NLTK کے ذریعے کیسے حل کیے جا سکتے ہیں۔

ہمارے کورس میں، ہم زیادہ تر نیورل نیٹ ورکس کا NLP کے لیے استعمال پر توجہ دیں گے، اور جہاں ضرورت ہو وہاں NLTK استعمال کریں گے۔

ہم نیورل نیٹ ورکس کے استعمال کے بارے میں پہلے ہی سیکھ چکے ہیں جو ٹیبلر ڈیٹا اور تصاویر سے نمٹتے ہیں۔ ان ڈیٹا کی اقسام اور متن میں بنیادی فرق یہ ہے کہ متن ایک متغیر لمبائی کا سلسلہ ہوتا ہے، جبکہ تصاویر کے معاملے میں ان پٹ کا سائز پہلے سے معلوم ہوتا ہے۔ جب کہ کنولوشنل نیٹ ورکس ان پٹ ڈیٹا سے نمونے نکال سکتے ہیں، متن میں پیٹرنز زیادہ پیچیدہ ہوتے ہیں۔ مثلاً، منفی جملہ ہمیشہ موضوع سے قریب نہیں ہوتا بلکہ کئی الفاظ کے درمیان ہو سکتا ہے (جیسے مجھے سنتری پسند نہیں بمقابلہ مجھے وہ بڑے رنگین مزیدار سنترے پسند نہیں)، اور اسے ایک ہی پیٹرن کے طور پر سمجھنا چاہیے۔ اس لیے، زبان کو سنبھالنے کے لیے ہمیں نئے نیورل نیٹ ورک کی اقسام متعارف کرانی ہوتی ہیں، جیسے ریکرنٹ نیٹ ورکس اور ٹرانسفارمرز۔

لائبریریز انسٹال کریں

اگر آپ اس کورس کو چلانے کے لیے مقامی پائتھن انسٹالیشن استعمال کر رہے ہیں، تو آپ کو NLP کے لیے تمام مطلوبہ لائبریریز درج ذیل کمانڈز کے ذریعے انسٹال کرنا پڑ سکتی ہیں:

پائٹورش کے لیے

pip install -r requirements-pytorch.txt

ٹینسر فلو کے لیے

pip install -r requirements-tf.txt

آپ Microsoft Learn پر TensorFlow کے ساتھ NLP آزما سکتے ہیں۔

جی پی یو کی وارننگ

اس سیکشن میں، کچھ مثالوں میں ہم کافی بڑے ماڈلز کی تربیت کریں گے۔

• GPU-فعال کمپیوٹر استعمال کریں: یہ مشورہ دیا جاتا ہے کہ جب بڑے ماڈلز کے ساتھ کام کریں تو اپنے نوٹ بکس کو GPU فعال کمپیوٹر پر چلائیں تاکہ انتظار کے اوقات کم ہوں۔
• GPU میموری کی حدود: GPU پر چلانے سے ایسی صورتحال پیدا ہو سکتی ہے جہاں آپ کی GPU میموری ختم ہو جائے، خصوصاً جب بڑے ماڈلز کی تربیت کرتے ہوں۔
• GPU میموری کا استعمال: تربیت کے دوران GPU میموری کی مقدار مختلف عوامل پر منحصر ہوتی ہے، جن میں منی بیچ کا سائز بھی شامل ہے۔
• منی بیچ کا سائز کم سے کم کریں: اگر آپ کو GPU میموری کے مسائل کا سامنا ہو تو اپنے کوڈ میں منی بیچ کے سائز کو کم کرنے پر غور کریں۔
• TensorFlow GPU میموری ریلیز: TensorFlow کے پرانے ورژن صحیح طریقے سے GPU میموری خالی نہیں کرتے جب ایک ہی پائتھن کرنل میں کئی ماڈلز کی تربیت کی جاتی ہے۔ GPU میموری کے استعمال کو مؤثر طریقے سے منظم کرنے کے لیے، آپ TensorFlow کو ایسا ترتیب دے سکتے ہیں کہ وہ صرف ضرورت کے مطابق GPU میموری مختص کرے۔
• کوڈ شامل کرنا: TensorFlow کو صرف ضرورت پڑنے پر GPU میموری مختص کرنے کے لیے، اپنے نوٹ بکس میں درج ذیل کوڈ شامل کریں:

physical_devices = tf.config.list_physical_devices('GPU') 
if len(physical_devices)>0:
    tf.config.experimental.set_memory_growth(physical_devices[0], True) 

اگر آپ کلاسیکی مشین لرننگ نقطہ نظر سے NLP سیکھنے میں دلچسپی رکھتے ہیں، تو اس سبق کے مجموعے کو دیکھیں۔

اس سیکشن میں

اس سیکشن میں ہم سیکھیں گے:

• متن کو ٹینسرز کے طور پر پیش کرنا
• ورڈ ایمبیڈنگز
• لینگویج ماڈلنگ
• ریکرنٹ نیورل نیٹ ورکس
• جنریٹو نیٹ ورکس
• ٹرانسفارمرز

---

ڈس کلیمر: یہ دستاویز AI ترجمہ سروس Co-op Translator کے ذریعے ترجمہ کی گئی ہے۔ جبکہ ہم درستگی کے لیے کوشاں ہیں، براہ کرم اس بات سے آگاہ رہیں کہ خودکار ترجمے میں غلطیاں یا عدم درستیاں ہو سکتی ہیں۔ اصل دستاویز اپنے مادری زبان میں مستند ماخذ سمجھی جائے گی۔ حساس معلومات کے لیے پیشہ ور انسانی ترجمہ کی سفارش کی جاتی ہے۔ اس ترجمے کے استعمال سے پیدا ہونے والی کسی بھی غلط فہمی یا غلط تشریح کی ذمہ داری ہم قبول نہیں کرتے۔