AI-For-Beginners/translations/de/lessons/5-NLP/15-LanguageModeling

Sprachmodellierung

Semantische Einbettungen wie Word2Vec und GloVe sind tatsächlich ein erster Schritt in Richtung Sprachmodellierung – Modelle zu erstellen, die irgendwie die Natur der Sprache verstehen (oder repräsentieren).

Quiz vor der Vorlesung

Die Hauptidee hinter der Sprachmodellierung besteht darin, Modelle auf nicht gekennzeichneten Datensätzen in einer unüberwachten Weise zu trainieren. Das ist wichtig, da wir riesige Mengen an unbeschriftetem Text zur Verfügung haben, während die Menge an beschriftetem Text immer durch den Aufwand begrenzt wäre, den wir für die Beschriftung aufbringen können. Meistens können wir Sprachmodelle erstellen, die fehlende Wörter im Text vorhersagen, da es einfach ist, ein zufälliges Wort im Text auszublenden und es als Trainingsbeispiel zu verwenden.

Training von Einbettungen

In unseren vorherigen Beispielen haben wir vortrainierte semantische Einbettungen verwendet, aber es ist interessant zu sehen, wie diese Einbettungen trainiert werden können. Es gibt mehrere mögliche Ansätze, die verwendet werden können:

• N-Gramm-Sprachmodellierung, bei der wir ein Token vorhersagen, indem wir auf die N vorherigen Tokens schauen (N-Gramm).
• Continuous Bag-of-Words (CBoW), bei der wir das mittlere Token W_0 in einer Token-Sequenz W_{-N}, ..., W_N vorhersagen.
• Skip-Gramm, bei dem wir eine Menge benachbarter Tokens {W_{-N},\dots, W_{-1}, W_1,\dots, W_N} aus dem mittleren Token W_0 vorhersagen.

Bild aus dieser Arbeit

✍️ Beispiel-Notebooks: Training eines CBoW-Modells

Setze dein Lernen mit den folgenden Notebooks fort:

• Training von CBoW Word2Vec mit TensorFlow
• Training von CBoW Word2Vec mit PyTorch

Fazit

In der vorherigen Lektion haben wir gesehen, dass Wort-Einbettungen wie Magie funktionieren! Jetzt wissen wir, dass das Training von Wort-Einbettungen keine sehr komplexe Aufgabe ist, und wir sollten in der Lage sein, unsere eigenen Wort-Einbettungen für domänenspezifische Texte zu trainieren, falls erforderlich.

Quiz nach der Vorlesung

Wiederholung & Selbststudium

• Offizielles PyTorch-Tutorial zur Sprachmodellierung.
• Offizielles TensorFlow-Tutorial zum Training eines Word2Vec-Modells.
• Die Verwendung des gensim-Frameworks, um die am häufigsten verwendeten Einbettungen mit wenigen Codezeilen zu trainieren, wird in dieser Dokumentation beschrieben.

🚀 Aufgabe: Skip-Gramm-Modell trainieren

Im Labor fordern wir dich heraus, den Code aus dieser Lektion zu ändern, um ein Skip-Gramm-Modell anstelle von CBoW zu trainieren. Lies die Details

---