AI-For-Beginners/translations/fi/lessons/5-NLP/15-LanguageModeling

Kielen mallintaminen

Semanttiset upotukset, kuten Word2Vec ja GloVe, ovat itse asiassa ensimmäinen askel kohti kielen mallintamista - mallien luomista, jotka jollain tavalla ymmärtävät (tai edustavat) kielen luonnetta.

Ennakkokysely

Kielen mallintamisen pääidea on niiden kouluttaminen merkitsemättömillä aineistoilla valvomattomalla tavalla. Tämä on tärkeää, koska meillä on valtavia määriä merkitsemätöntä tekstiä saatavilla, kun taas merkittyä tekstiä on aina rajallisesti sen mukaan, kuinka paljon aikaa voimme käyttää sen merkitsemiseen. Useimmiten voimme rakentaa kielimalleja, jotka voivat ennustaa puuttuvia sanoja tekstissä, koska on helppoa peittää satunnainen sana tekstissä ja käyttää sitä harjoitusnäytteenä.

Upotusten kouluttaminen

Aiemmissa esimerkeissämme käytimme valmiiksi koulutettuja semanttisia upotuksia, mutta on mielenkiintoista nähdä, miten näitä upotuksia voidaan kouluttaa. On olemassa useita mahdollisia ideoita, joita voidaan käyttää:

• N-Gram-kielen mallintaminen, jossa ennustamme sanan katsomalla N edellistä sanaa (N-grammi)
• Continuous Bag-of-Words (CBoW), jossa ennustamme keskimmäisen sanan W_0 sanajonossa W_{-N}, ..., W_N.
• Skip-gram, jossa ennustamme joukon naapurisanoja {W_{-N},\dots, W_{-1}, W_1,\dots, W_N} keskimmäisestä sanasta W_0.

Kuva tästä paperista

✍️ Esimerkkivihkot: CBoW-mallin kouluttaminen

Jatka oppimistasi seuraavissa vihkoissa:

• CBoW Word2Vecin kouluttaminen TensorFlow'lla
• CBoW Word2Vecin kouluttaminen PyTorchilla

Yhteenveto

Edellisessä oppitunnissa näimme, että sanaupotukset toimivat kuin taikuutta! Nyt tiedämme, että sanaupotusten kouluttaminen ei ole kovin monimutkainen tehtävä, ja meidän pitäisi pystyä kouluttamaan omia sanaupotuksia erityisalojen teksteille tarvittaessa.

Jälkikysely

Kertaus ja itseopiskelu

• Virallinen PyTorch-opas kielen mallintamisesta.
• Virallinen TensorFlow-opas Word2Vec-mallin kouluttamisesta.
• gensim-kehystä käyttämällä yleisimpien upotusten kouluttaminen muutamalla koodirivillä on kuvattu tässä dokumentaatiossa.

🚀 Tehtävä: Skip-Gram-mallin kouluttaminen

Laboratoriossa haastamme sinut muokkaamaan tämän oppitunnin koodia Skip-Gram-mallin kouluttamiseksi CBoW:n sijaan. Lue lisätiedot

---

Vastuuvapauslauseke:
Tämä asiakirja on käännetty käyttämällä tekoälypohjaista käännöspalvelua Co-op Translator. Vaikka pyrimme tarkkuuteen, huomioithan, että automaattiset käännökset voivat sisältää virheitä tai epätarkkuuksia. Alkuperäistä asiakirjaa sen alkuperäisellä kielellä tulisi pitää ensisijaisena lähteenä. Kriittisen tiedon osalta suositellaan ammattimaista ihmiskäännöstä. Emme ole vastuussa väärinkäsityksistä tai virhetulkinnoista, jotka johtuvat tämän käännöksen käytöstä.