AI-For-Beginners/translations/my/lessons/5-NLP/15-LanguageModeling/lab

Skip-Gram မော်ဒယ်ကို လေ့ကျင့်ခြင်း

AI for Beginners Curriculum မှ လက်တွေ့လေ့ကျင့်ရေးအလုပ်များ။

တာဝန်

ဒီလက်တွေ့လေ့ကျင့်ရေးမှာ Word2Vec မော်ဒယ်ကို Skip-Gram နည်းလမ်းကို အသုံးပြုပြီး လေ့ကျင့်ရန် စိန်ခေါ်ပါသည်။ N-tokens-အကျယ်ရှိသော Skip-Gram window အတွင်း အနီးအနားရှိ စကားလုံးများကို ခန့်မှန်းရန် embedding ပါသော network ကို လေ့ကျင့်ပါ။ ဒီသင်ခန်းစာမှ ကုဒ် ကို အသုံးပြုနိုင်ပြီး, အနည်းငယ် ပြင်ဆင်နိုင်ပါသည်။

ဒေတာအစုအဝေး

မည်သည့် စာအုပ်ကိုမဆို အသုံးပြုနိုင်ပါသည်။ Project Gutenberg တွင် အခမဲ့ စာများစွာ ရှာနိုင်ပြီး, ဥပမာအားဖြင့် Alice's Adventures in Wonderland) (Lewis Carroll ရေးသားသည်) ကို ဒီနေရာတွင် ရနိုင်ပါသည်။ သို့မဟုတ်, Shakespeare ၏ ပြဇာတ်များကို အောက်ပါကုဒ်ကို အသုံးပြု၍ ရယူနိုင်ပါသည်-

path_to_file = tf.keras.utils.get_file(
   'shakespeare.txt', 
   'https://storage.googleapis.com/download.tensorflow.org/data/shakespeare.txt')
text = open(path_to_file, 'rb').read().decode(encoding='utf-8')

စမ်းသပ်ပါ!

အချိန်ရှိပြီး အကြောင်းအရာကို နက်ရှိုင်းစွာ လေ့လာလိုပါက အောက်ပါအရာများကို စမ်းသပ်ကြည့်ပါ-

• Embedding အရွယ်အစားက ရလဒ်ကို ဘယ်လို သက်ရောက်မှုရှိသလဲ?
• စာသားပုံစံအမျိုးမျိုးက ရလဒ်ကို ဘယ်လို သက်ရောက်မှုရှိသလဲ?
• အလွန်ကွဲပြားသော စကားလုံးအမျိုးအစားများနှင့် ၎င်းတို့၏ အနီးစပ်ဆုံး စကားလုံးများကို ရွေးချယ်ပြီး, ၎င်းတို့၏ ဗက်တာကိုယ်စားပြုမှုများကို ရယူပါ။ PCA ကို အသုံးပြု၍ အတိုင်းအတာကို ၂ အတိုင်းအတာသို့ လျှော့ချပြီး, 2D နေရာတွင် ပုံဖော်ပါ။ မည်သည့် ပုံစံများကို မြင်ရသလဲ?

အကြောင်းကြားချက်:
ဤစာရွက်စာတမ်းကို AI ဘာသာပြန်ဝန်ဆောင်မှု Co-op Translator ကို အသုံးပြု၍ ဘာသာပြန်ထားပါသည်။ ကျွန်ုပ်တို့သည် တိကျမှုအတွက် ကြိုးစားနေပါသော်လည်း၊ အလိုအလျောက် ဘာသာပြန်မှုများတွင် အမှားများ သို့မဟုတ် မတိကျမှုများ ပါဝင်နိုင်သည်ကို သတိပြုပါ။ မူရင်းစာရွက်စာတမ်းကို ၎င်း၏ မူလဘာသာစကားဖြင့် အာဏာတရားရှိသော အရင်းအမြစ်အဖြစ် သတ်မှတ်သင့်ပါသည်။ အရေးကြီးသော အချက်အလက်များအတွက် လူ့ဘာသာပြန်ပညာရှင်များမှ ပရော်ဖက်ရှင်နယ် ဘာသာပြန်မှုကို အကြံပြုပါသည်။ ဤဘာသာပြန်မှုကို အသုံးပြုခြင်းမှ ဖြစ်ပေါ်လာသော အလွဲအလွဲအချော်များ သို့မဟုတ် အနားလွဲမှုများအတွက် ကျွန်ုပ်တို့သည် တာဝန်မယူပါ။