3.1 KiB
Sprachmodellierung
Semantische Einbettungen wie Word2Vec und GloVe sind tatsächlich ein erster Schritt in Richtung Sprachmodellierung – Modelle zu erstellen, die irgendwie die Natur der Sprache verstehen (oder repräsentieren).
Quiz vor der Vorlesung
Die Hauptidee hinter der Sprachmodellierung besteht darin, Modelle auf nicht gekennzeichneten Datensätzen in einer unüberwachten Weise zu trainieren. Das ist wichtig, da wir riesige Mengen an unbeschriftetem Text zur Verfügung haben, während die Menge an beschriftetem Text immer durch den Aufwand begrenzt wäre, den wir für die Beschriftung aufbringen können. Meistens können wir Sprachmodelle erstellen, die fehlende Wörter im Text vorhersagen, da es einfach ist, ein zufälliges Wort im Text auszublenden und es als Trainingsbeispiel zu verwenden.
Training von Einbettungen
In unseren vorherigen Beispielen haben wir vortrainierte semantische Einbettungen verwendet, aber es ist interessant zu sehen, wie diese Einbettungen trainiert werden können. Es gibt mehrere mögliche Ansätze, die verwendet werden können:
- N-Gramm-Sprachmodellierung, bei der wir ein Token vorhersagen, indem wir auf die N vorherigen Tokens schauen (N-Gramm).
- Continuous Bag-of-Words (CBoW), bei der wir das mittlere Token
W_0in einer Token-SequenzW_{-N}, ...,W_Nvorhersagen. - Skip-Gramm, bei dem wir eine Menge benachbarter Tokens {
W_{-N},\dots, W_{-1}, W_1,\dots, W_N} aus dem mittleren TokenW_0vorhersagen.
Bild aus dieser Arbeit
✍️ Beispiel-Notebooks: Training eines CBoW-Modells
Setze dein Lernen mit den folgenden Notebooks fort:
Fazit
In der vorherigen Lektion haben wir gesehen, dass Wort-Einbettungen wie Magie funktionieren! Jetzt wissen wir, dass das Training von Wort-Einbettungen keine sehr komplexe Aufgabe ist, und wir sollten in der Lage sein, unsere eigenen Wort-Einbettungen für domänenspezifische Texte zu trainieren, falls erforderlich.
Quiz nach der Vorlesung
Wiederholung & Selbststudium
- Offizielles PyTorch-Tutorial zur Sprachmodellierung.
- Offizielles TensorFlow-Tutorial zum Training eines Word2Vec-Modells.
- Die Verwendung des gensim-Frameworks, um die am häufigsten verwendeten Einbettungen mit wenigen Codezeilen zu trainieren, wird in dieser Dokumentation beschrieben.
🚀 Aufgabe: Skip-Gramm-Modell trainieren
Im Labor fordern wir dich heraus, den Code aus dieser Lektion zu ändern, um ein Skip-Gramm-Modell anstelle von CBoW zu trainieren. Lies die Details