3.1 KiB
Modelarea Limbajului
Încorporările semantice, precum Word2Vec și GloVe, reprezintă de fapt un prim pas către modelarea limbajului - crearea de modele care într-un fel înțeleg (sau reprezintă) natura limbajului.
Chestionar înainte de lecție
Ideea principală din spatele modelării limbajului este antrenarea acestora pe seturi de date neetichetate într-un mod nesupravegheat. Acest lucru este important deoarece avem la dispoziție cantități uriașe de text neetichetat, în timp ce cantitatea de text etichetat va fi întotdeauna limitată de efortul pe care îl putem depune pentru etichetare. Cel mai adesea, putem construi modele de limbaj care pot prezice cuvintele lipsă din text, deoarece este ușor să mascăm un cuvânt aleator din text și să-l folosim ca exemplu de antrenament.
Antrenarea Încorporărilor
În exemplele anterioare, am folosit încorporări semantice pre-antrenate, dar este interesant să vedem cum pot fi antrenate aceste încorporări. Există mai multe idei posibile care pot fi utilizate:
- Modelarea limbajului N-Gram, când prezicem un token analizând N tokeni anteriori (N-gram).
- Continuous Bag-of-Words (CBoW), când prezicem tokenul din mijloc
W_0într-o secvență de tokeniW_{-N}, ...,W_N. - Skip-gram, unde prezicem un set de tokeni vecini {
W_{-N},\dots, W_{-1}, W_1,\dots, W_N} pornind de la tokenul din mijlocW_0.
Imagine din acest articol
✍️ Exemple de Notebook-uri: Antrenarea modelului CBoW
Continuă învățarea în următoarele notebook-uri:
Concluzie
În lecția anterioară am văzut că încorporările de cuvinte funcționează ca prin magie! Acum știm că antrenarea încorporărilor de cuvinte nu este o sarcină foarte complexă și ar trebui să fim capabili să ne antrenăm propriile încorporări de cuvinte pentru texte specifice unui domeniu, dacă este necesar.
Chestionar după lecție
Recapitulare & Studiu Individual
- Tutorial oficial PyTorch despre Modelarea Limbajului.
- Tutorial oficial TensorFlow despre antrenarea modelului Word2Vec.
- Utilizarea framework-ului gensim pentru a antrena cele mai utilizate încorporări în câteva linii de cod este descrisă în această documentație.
🚀 Temă: Antrenează Modelul Skip-Gram
În laborator, te provocăm să modifici codul din această lecție pentru a antrena un model skip-gram în loc de CBoW. Citește detaliile