5.9 KiB
Language Modeling
Semantic embeddings, Word2Vec နှင့် GloVe က ဘာသာစကားမော်ဒယ် ဖန်တီးခြင်းဆီသို့ ပထမအဆင့်အဖြစ် သွားရောက်နေသည်။ ၎င်းသည် ဘာသာစကား၏ သဘာဝကို နားလည် (သို့မဟုတ် ကိုယ်စားပြု) နိုင်သော မော်ဒယ်များ ဖန်တီးရန် ရည်ရွယ်သည်။
Pre-lecture quiz
ဘာသာစကားမော်ဒယ်ဖန်တီးခြင်း၏ အဓိကအကြောင်းအရာမှာ မော်ဒယ်များကို မမှတ်သားထားသော ဒေတာများပေါ်တွင် unsupervised နည်းလမ်းဖြင့် လေ့ကျင့်ခြင်းဖြစ်သည်။ ၎င်းသည် အရေးကြီးသည်မှာ မမှတ်သားထားသော စာသားများ အလွန်များစွာ ရရှိနိုင်သည့်အတွက်ဖြစ်ပြီး၊ မှတ်သားထားသော စာသားများသည် ကျွန်ုပ်တို့မှတ်သားရန် အချိန်နှင့် အင်အားကန့်သတ်ထားသောကြောင့် အမြဲကန့်သတ်ထားလိမ့်မည်။ အများအားဖြင့် မော်ဒယ်များကို ပျောက်နေသော စကားလုံးများ ခန့်မှန်းနိုင်ရန် ဖန်တီးနိုင်သည်။ ၎င်းသည် စာသားတွင် စိတ်ကြိုက် စကားလုံးတစ်လုံးကို ဖျောက်ထားပြီး ၎င်းကို လေ့ကျင့်မှုနမူနာအဖြစ် အသုံးပြုရန် လွယ်ကူသောကြောင့်ဖြစ်သည်။
Training Embeddings
ယခင် ဥပမာများတွင် ကျွန်ုပ်တို့သည် pre-trained semantic embeddings ကို အသုံးပြုခဲ့သည်။ သို့သော် ၎င်းတို့ကို မည်သို့လေ့ကျင့်နိုင်သည်ကို သိရန် စိတ်ဝင်စားဖွယ်ကောင်းသည်။ အသုံးပြုနိုင်သော အကြံဉာဏ်အချို့မှာ:
- N-Gram ဘာသာစကားမော်ဒယ်ဖန်တီးခြင်း၊ N-Gram ကို အသုံးပြု၍ ယခင် token များကို ကြည့်ပြီး token တစ်ခုကို ခန့်မှန်းခြင်း။
- Continuous Bag-of-Words (CBoW)၊ token အစဉ်
W_{-N}, ...,W_Nတွင် အလယ် tokenW_0ကို ခန့်မှန်းခြင်း။ - Skip-gram၊ အလယ် token
W_0မှ အနီးအနား token များ {W_{-N},\dots, W_{-1}, W_1,\dots, W_N} ကို ခန့်မှန်းခြင်း။
Image from this paper
✍️ Example Notebooks: Training CBoW model
အောက်ပါ notebooks များတွင် သင့်လေ့လာမှုကို ဆက်လက်လုပ်ဆောင်ပါ:
Conclusion
ယခင် သင်ခန်းစာတွင် စကားလုံး embeddings များသည် မျိုးစုံသော အကျိုးကျေးဇူးများရှိသည်ကို ကျွန်ုပ်တို့တွေ့ရှိခဲ့သည်! ယခု ကျွန်ုပ်တို့သည် စကားလုံး embeddings များကို လေ့ကျင့်ခြင်းသည် အလွန်ရှုပ်ထွေးသော အလုပ်မဟုတ်ကြောင်း သိရှိပြီး၊ domain-specific စာသားများအတွက် လိုအပ်ပါက ကျွန်ုပ်တို့ကိုယ်တိုင် စကားလုံး embeddings များကို လေ့ကျင့်နိုင်သည်။
Post-lecture quiz
Review & Self Study
- Official PyTorch tutorial on Language Modeling။
- Official TensorFlow tutorial on training Word2Vec model။
- gensim framework ကို အသုံးပြု၍ အများဆုံးအသုံးပြုသော embeddings များကို အနည်းငယ်သော code ဖြင့် လေ့ကျင့်ခြင်းကို ဤစာရွက်စာတမ်း တွင် ဖော်ပြထားသည်။
🚀 Assignment: Train Skip-Gram Model
Lab တွင် ကျွန်ုပ်တို့သည် CBoW မော်ဒယ်ကို Skip-gram မော်ဒယ်အဖြစ် ပြောင်းလဲရန် ဤသင်ခန်းစာမှ code ကို ပြင်ဆင်ရန် စိန်ခေါ်ပါသည်။ အသေးစိတ်ဖတ်ရှုပါ