2.9 KiB
Kielen mallintaminen
Semanttiset upotukset, kuten Word2Vec ja GloVe, ovat itse asiassa ensimmäinen askel kohti kielen mallintamista - mallien luomista, jotka jollain tavalla ymmärtävät (tai edustavat) kielen luonnetta.
Ennakkokysely
Kielen mallintamisen pääidea on niiden kouluttaminen merkitsemättömillä aineistoilla valvomattomalla tavalla. Tämä on tärkeää, koska meillä on valtavia määriä merkitsemätöntä tekstiä saatavilla, kun taas merkittyä tekstiä on aina rajallisesti sen mukaan, kuinka paljon aikaa voimme käyttää sen merkitsemiseen. Useimmiten voimme rakentaa kielimalleja, jotka voivat ennustaa puuttuvia sanoja tekstissä, koska on helppoa peittää satunnainen sana tekstissä ja käyttää sitä harjoitusnäytteenä.
Upotusten kouluttaminen
Aiemmissa esimerkeissämme käytimme valmiiksi koulutettuja semanttisia upotuksia, mutta on mielenkiintoista nähdä, miten näitä upotuksia voidaan kouluttaa. On olemassa useita mahdollisia ideoita, joita voidaan käyttää:
- N-Gram-kielen mallintaminen, jossa ennustamme sanan katsomalla N edellistä sanaa (N-grammi).
- Continuous Bag-of-Words (CBoW), jossa ennustamme keskimmäisen sanan
W_0sanajonossaW_{-N}, ...,W_N. - Skip-gram, jossa ennustamme joukon naapurisanoja {
W_{-N},\dots, W_{-1}, W_1,\dots, W_N} keskimmäisestä sanastaW_0.
Kuva tästä paperista
✍️ Esimerkkivihkot: CBoW-mallin kouluttaminen
Jatka oppimista seuraavien vihkojen avulla:
Yhteenveto
Edellisessä oppitunnissa näimme, että sanaupotukset toimivat kuin taikuus! Nyt tiedämme, että sanaupotusten kouluttaminen ei ole kovin monimutkainen tehtävä, ja meidän pitäisi pystyä kouluttamaan omia sanaupotuksia erityisalojen teksteille tarvittaessa.
Jälkikysely
Kertaus ja itseopiskelu
- Virallinen PyTorch-opas kielen mallintamisesta.
- Virallinen TensorFlow-opas Word2Vec-mallin kouluttamisesta.
- gensim-kehystä käyttämällä yleisimpien upotusten kouluttaminen muutamalla koodirivillä on kuvattu tässä dokumentaatiossa.
🚀 Tehtävä: Skip-Gram-mallin kouluttaminen
Laboratoriossa haastamme sinut muokkaamaan tämän oppitunnin koodia Skip-Gram-mallin kouluttamiseksi CBoW:n sijaan. Lue yksityiskohdat