AI-For-Beginners/translations/sl/lessons/5-NLP/15-LanguageModeling

Modeliranje jezika

Semantične vektorske predstavitve, kot sta Word2Vec in GloVe, so pravzaprav prvi korak k modeliranju jezika – ustvarjanju modelov, ki na nek način razumejo (ali predstavljajo) naravo jezika.

Predhodni kviz

Glavna ideja modeliranja jezika je, da jih učimo na nenalepčenih podatkovnih zbirkah na nenadzorovan način. To je pomembno, ker imamo na voljo ogromne količine nenalepčenega besedila, medtem ko je količina nalepčenega besedila vedno omejena z vloženim trudom za označevanje. Najpogosteje lahko zgradimo jezikovne modele, ki lahko napovedujejo manjkajoče besede v besedilu, saj je enostavno naključno besedo v besedilu zakriti in jo uporabiti kot učni vzorec.

Učenje vektorskih predstavitev

V prejšnjih primerih smo uporabljali vnaprej naučene semantične vektorske predstavitve, vendar je zanimivo videti, kako lahko te predstavitve sami naučimo. Obstaja več možnih pristopov:

• N-gram modeliranje jezika, kjer napovedujemo token na podlagi N prejšnjih tokenov (N-gram).
• Neprekinjena vreča besed (CBoW), kjer napovedujemo sredinski token W_0 v zaporedju tokenov W_{-N}, ..., W_N.
• Skip-gram, kjer iz sredinskega tokena W_0 napovedujemo množico sosednjih tokenov {W_{-N},\dots, W_{-1}, W_1,\dots, W_N}.

Slika iz tega članka

✍️ Primeri zvezkov: Učenje CBoW modela

Nadaljujte z učenjem v naslednjih zvezkih:

• Učenje CBoW Word2Vec z uporabo TensorFlow
• Učenje CBoW Word2Vec z uporabo PyTorch

Zaključek

V prejšnji lekciji smo videli, da vektorske predstavitve besed delujejo skoraj čarobno! Zdaj vemo, da učenje vektorskih predstavitev besed ni zelo zapletena naloga, in če je potrebno, lahko sami naučimo svoje vektorske predstavitve za besedila iz specifičnih domen.

Naknadni kviz

Pregled in samostojno učenje

• Uradni PyTorch vodič za modeliranje jezika.
• Uradni TensorFlow vodič za učenje Word2Vec modela.
• Uporaba ogrodja gensim za učenje najpogosteje uporabljenih vektorskih predstavitev v nekaj vrsticah kode je opisana v tej dokumentaciji.

🚀 Naloga: Naučite Skip-Gram model

V laboratorijski nalogi vas izzivamo, da spremenite kodo iz te lekcije in naučite Skip-Gram model namesto CBoW. Preberite podrobnosti

Omejitev odgovornosti:
Ta dokument je bil preveden z uporabo storitve za prevajanje z umetno inteligenco Co-op Translator. Čeprav si prizadevamo za natančnost, vas prosimo, da upoštevate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem maternem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo profesionalni prevod s strani človeka. Ne prevzemamo odgovornosti za morebitna nesporazumevanja ali napačne razlage, ki bi nastale zaradi uporabe tega prevoda.