fee00e62ca
|
||
|---|---|---|
| .. | ||
| lab | ||
| CBoW-PyTorch.ipynb | ||
| CBoW-TF.ipynb | ||
| README.md | ||
README.md
Моделовање језика
Семантички уграђаји, као што су Word2Vec и GloVe, заправо представљају први корак ка моделовању језика – креирању модела који на неки начин разумеју (или представљају) природу језика.
Квиз пре предавања
Главна идеја моделовања језика је њихово тренирање на необележеним скуповима података на ненадгледан начин. Ово је важно јер имамо огромне количине необележеног текста, док је количина обележеног текста увек ограничена временом и трудом који можемо уложити у обележавање. Најчешће можемо изградити моделе језика који могу предвидети недостајуће речи у тексту, јер је лако сакрити насумичну реч у тексту и користити је као узорак за тренирање.
Тренирање уграђаја
У нашим претходним примерима користили смо претходно обучене семантичке уграђаје, али је занимљиво видети како се ти уграђаји могу тренирати. Постоји неколико могућих идеја које се могу користити:
- Н-Грам моделирање језика, где предвиђамо токен гледајући претходних N токена (N-грам).
- Континуирана врећа речи (CBoW), где предвиђамо средишњи токен
W_0у низу токенаW_{-N}, ...,W_N. - Скип-грам, где предвиђамо скуп суседних токена {
W_{-N},\dots, W_{-1}, W_1,\dots, W_N} на основу средишњег токенаW_0.
Слика из овог рада
✍️ Пример бележница: Тренирање CBoW модела
Наставите са учењем у следећим бележницама:
Закључак
У претходној лекцији видели смо да уграђаји речи функционишу као магија! Сада знамо да тренирање уграђаја речи није веома сложен задатак и требало би да будемо у могућности да обучимо сопствене уграђаје речи за текст специфичан за одређену област ако је потребно.
Квиз након предавања
Преглед и самостално учење
- Званични PyTorch туторијал о моделовању језика.
- Званични TensorFlow туторијал о тренирању Word2Vec модела.
- Коришћење оквира gensim за тренирање најчешће коришћених уграђаја у неколико линија кода описано је у овој документацији.
🚀 Задатак: Тренирајте Skip-Gram модел
У лабораторији вас изазивамо да модификујете код из ове лекције како бисте тренирали skip-gram модел уместо CBoW. Прочитајте детаље
Одрицање од одговорности:
Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције Co-op Translator. Иако настојимо да обезбедимо тачност, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на његовом изворном језику треба сматрати меродавним извором. За критичне информације препоручује се професионални превод од стране људи. Не преузимамо одговорност за било каква погрешна тумачења или неспоразуме који могу настати услед коришћења овог превода.