3.0 KiB
Jazykové modelovanie
Sémantické vektory, ako Word2Vec a GloVe, sú v skutočnosti prvým krokom k jazykovému modelovaniu – vytváraniu modelov, ktoré nejako rozumejú (alebo reprezentujú) podstatu jazyka.
Kvíz pred prednáškou
Hlavnou myšlienkou jazykového modelovania je ich trénovanie na neoznačených dátach v nesupervidovanom režime. To je dôležité, pretože máme k dispozícii obrovské množstvo neoznačeného textu, zatiaľ čo množstvo označeného textu je vždy obmedzené úsilím, ktoré môžeme venovať jeho označovaniu. Najčastejšie môžeme vytvoriť jazykové modely, ktoré dokážu predpovedať chýbajúce slová v texte, pretože je jednoduché náhodne vynechať slovo v texte a použiť ho ako tréningový vzor.
Trénovanie vektorov
V našich predchádzajúcich príkladoch sme používali predtrénované sémantické vektory, ale je zaujímavé vidieť, ako sa tieto vektory dajú trénovať. Existuje niekoľko možných prístupov, ktoré sa dajú použiť:
- Jazykové modelovanie pomocou N-Gramov, kde predpovedáme token na základe N predchádzajúcich tokenov (N-gram).
- Continuous Bag-of-Words (CBoW), kde predpovedáme stredný token
W_0v sekvencii tokenovW_{-N}, ...,W_N. - Skip-gram, kde predpovedáme množinu susedných tokenov {
W_{-N},\dots, W_{-1}, W_1,\dots, W_N} zo stredného tokenuW_0.
Obrázok z tohto článku
✍️ Príkladové notebooky: Trénovanie CBoW modelu
Pokračujte vo svojom učení v nasledujúcich notebookoch:
Záver
V predchádzajúcej lekcii sme videli, že vektory slov fungujú ako kúzlo! Teraz vieme, že trénovanie vektorov slov nie je veľmi zložitá úloha, a mali by sme byť schopní trénovať vlastné vektory slov pre texty špecifické pre danú oblasť, ak to bude potrebné.
Kvíz po prednáške
Prehľad a samostatné štúdium
- Oficiálny PyTorch tutoriál o jazykovom modelovaní.
- Oficiálny TensorFlow tutoriál o trénovaní Word2Vec modelu.
- Použitie frameworku gensim na trénovanie najbežnejšie používaných vektorov v niekoľkých riadkoch kódu je popísané v tejto dokumentácii.
🚀 Úloha: Trénovanie Skip-Gram modelu
V laboratóriu vás vyzývame, aby ste upravili kód z tejto lekcie na trénovanie Skip-Gram modelu namiesto CBoW. Prečítajte si podrobnosti