f2699f91dc
|
||
|---|---|---|
| .. | ||
| lab | ||
| CBoW-PyTorch.ipynb | ||
| CBoW-TF.ipynb | ||
| README.md | ||
README.md
Modellazione del linguaggio
Gli embedding semantici, come Word2Vec e GloVe, rappresentano in realtà un primo passo verso la modellazione del linguaggio - la creazione di modelli che in qualche modo comprendono (o rappresentano) la natura del linguaggio.
Quiz pre-lezione
L'idea principale della modellazione del linguaggio è allenare i modelli su dataset non etichettati in modo non supervisionato. Questo è importante perché abbiamo a disposizione enormi quantità di testo non etichettato, mentre la quantità di testo etichettato sarà sempre limitata dall'impegno necessario per etichettarlo. Molto spesso, possiamo costruire modelli di linguaggio che possono predire parole mancanti nel testo, poiché è facile oscurare una parola casuale nel testo e usarla come campione di allenamento.
Allenamento degli embedding
Nei nostri esempi precedenti, abbiamo utilizzato embedding semantici pre-addestrati, ma è interessante vedere come questi embedding possano essere allenati. Ci sono diverse idee che possono essere utilizzate:
- Modellazione del linguaggio N-Gram, in cui si predice un token osservando i N token precedenti (N-gram).
- Continuous Bag-of-Words (CBoW), in cui si predice il token centrale
W_0in una sequenza di tokenW_{-N}, ...,W_N. - Skip-gram, dove si predice un insieme di token vicini {
W_{-N},\dots, W_{-1}, W_1,\dots, W_N} a partire dal token centraleW_0.
Immagine tratta da questo articolo
✍️ Notebook di esempio: Allenamento del modello CBoW
Continua il tuo apprendimento nei seguenti notebook:
Conclusione
Nella lezione precedente abbiamo visto che gli embedding delle parole funzionano come per magia! Ora sappiamo che allenare gli embedding delle parole non è un compito molto complesso e dovremmo essere in grado di allenare i nostri embedding per testi specifici di dominio, se necessario.
Quiz post-lezione
Revisione e studio autonomo
- Tutorial ufficiale di PyTorch sulla modellazione del linguaggio.
- Tutorial ufficiale di TensorFlow sull'allenamento del modello Word2Vec.
- Utilizzare il framework gensim per allenare gli embedding più comunemente usati in poche righe di codice è descritto in questa documentazione.
🚀 Compito: Allenare il modello Skip-Gram
Nel laboratorio, ti sfidiamo a modificare il codice di questa lezione per allenare un modello Skip-Gram invece di CBoW. Leggi i dettagli
Disclaimer:
Questo documento è stato tradotto utilizzando il servizio di traduzione automatica Co-op Translator. Sebbene ci impegniamo per garantire l'accuratezza, si prega di notare che le traduzioni automatiche possono contenere errori o imprecisioni. Il documento originale nella sua lingua nativa dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione professionale effettuata da un traduttore umano. Non siamo responsabili per eventuali incomprensioni o interpretazioni errate derivanti dall'uso di questa traduzione.