b9c43e4edf
|
||
|---|---|---|
| .. | ||
| lab | ||
| CBoW-PyTorch.ipynb | ||
| CBoW-TF.ipynb | ||
| README.md | ||
README.md
Modelowanie języka
Semantyczne osadzenia, takie jak Word2Vec i GloVe, to w rzeczywistości pierwszy krok w kierunku modelowania języka – tworzenia modeli, które w pewien sposób rozumieją (lub reprezentują) naturę języka.
Quiz przed wykładem
Główna idea modelowania języka polega na trenowaniu modeli na niezlabelowanych zbiorach danych w sposób nienadzorowany. Jest to istotne, ponieważ mamy dostęp do ogromnych ilości niezlabelowanego tekstu, podczas gdy ilość tekstu zlabelowanego zawsze będzie ograniczona wysiłkiem, jaki możemy poświęcić na jego oznaczanie. Najczęściej możemy budować modele językowe, które potrafią przewidywać brakujące słowa w tekście, ponieważ łatwo jest zamaskować losowe słowo w tekście i użyć go jako próbki treningowej.
Trenowanie osadzeń
W poprzednich przykładach korzystaliśmy z wcześniej wytrenowanych semantycznych osadzeń, ale warto zobaczyć, jak można trenować takie osadzenia samodzielnie. Istnieje kilka możliwych podejść:
- Modelowanie języka N-Gram, gdzie przewidujemy token, patrząc na N poprzednich tokenów (N-gramy).
- Continuous Bag-of-Words (CBoW), gdzie przewidujemy środkowy token
W_0w sekwencji tokenówW_{-N}, ...,W_N. - Skip-gram, gdzie przewidujemy zestaw sąsiednich tokenów {
W_{-N},\dots, W_{-1}, W_1,\dots, W_N} na podstawie środkowego tokenaW_0.
Obraz z tego artykułu
✍️ Przykładowe notatniki: Trenowanie modelu CBoW
Kontynuuj naukę, korzystając z poniższych notatników:
Podsumowanie
W poprzedniej lekcji widzieliśmy, że osadzenia słów działają jak magia! Teraz wiemy, że trenowanie osadzeń słów nie jest bardzo skomplikowanym zadaniem i powinniśmy być w stanie wytrenować własne osadzenia słów dla tekstów specyficznych dla danej dziedziny, jeśli zajdzie taka potrzeba.
Quiz po wykładzie
Przegląd i samodzielna nauka
- Oficjalny samouczek PyTorch dotyczący modelowania języka.
- Oficjalny samouczek TensorFlow dotyczący trenowania modelu Word2Vec.
- Użycie frameworka gensim do trenowania najczęściej używanych osadzeń w kilku liniach kodu opisano w tej dokumentacji.
🚀 Zadanie: Wytrenuj model Skip-Gram
W laboratorium zachęcamy Cię do zmodyfikowania kodu z tej lekcji, aby wytrenować model skip-gram zamiast CBoW. Przeczytaj szczegóły
Zastrzeżenie:
Ten dokument został przetłumaczony za pomocą usługi tłumaczenia AI Co-op Translator. Chociaż dokładamy wszelkich starań, aby tłumaczenie było precyzyjne, prosimy pamiętać, że automatyczne tłumaczenia mogą zawierać błędy lub nieścisłości. Oryginalny dokument w jego rodzimym języku powinien być uznawany za autorytatywne źródło. W przypadku informacji o kluczowym znaczeniu zaleca się skorzystanie z profesjonalnego tłumaczenia przez człowieka. Nie ponosimy odpowiedzialności za jakiekolwiek nieporozumienia lub błędne interpretacje wynikające z użycia tego tłumaczenia.