3.5 KiB
Pemodelan Bahasa
Penyematan semantik, seperti Word2Vec dan GloVe, sebenarnya adalah langkah pertama menuju pemodelan bahasa - menciptakan model yang entah bagaimana memahami (atau merepresentasikan) sifat bahasa.
Kuis Pra-kuliah
Ide utama di balik pemodelan bahasa adalah melatih model tersebut pada dataset yang tidak diberi label dengan cara yang tidak diawasi. Ini penting karena kita memiliki jumlah teks tidak berlabel yang sangat besar, sementara jumlah teks berlabel selalu akan terbatas oleh jumlah usaha yang dapat kita habiskan untuk memberi label. Sebagian besar waktu, kita dapat membangun model bahasa yang dapat memprediksi kata yang hilang dalam teks, karena mudah untuk menyembunyikan kata acak dalam teks dan menggunakannya sebagai sampel pelatihan.
Melatih Penyematan
Dalam contoh-contoh sebelumnya, kita menggunakan penyematan semantik yang sudah dilatih, tetapi menarik untuk melihat bagaimana penyematan tersebut dapat dilatih. Ada beberapa ide yang dapat digunakan:
- Pemodelan bahasa N-Gram, ketika kita memprediksi sebuah token dengan melihat N token sebelumnya (N-gram)
- Continuous Bag-of-Words (CBoW), ketika kita memprediksi token tengah
W_0dalam urutan tokenW_{-N}, ...,W_N. - Skip-gram, di mana kita memprediksi sekumpulan token tetangga {
W_{-N},\dots, W_{-1}, W_1,\dots, W_N} dari token tengahW_0.
Gambar dari makalah ini
✍️ Contoh Notebook: Melatih model CBoW
Lanjutkan pembelajaran Anda di notebook berikut:
Kesimpulan
Dalam pelajaran sebelumnya, kita telah melihat bahwa penyematan kata bekerja seperti sihir! Sekarang kita tahu bahwa melatih penyematan kata bukanlah tugas yang sangat kompleks, dan kita seharusnya dapat melatih penyematan kata kita sendiri untuk teks spesifik domain jika diperlukan.
Kuis Pasca-kuliah
Tinjauan & Studi Mandiri
- Tutorial Resmi PyTorch tentang Pemodelan Bahasa.
- Tutorial Resmi TensorFlow tentang melatih model Word2Vec.
- Menggunakan kerangka gensim untuk melatih penyematan yang paling umum digunakan dalam beberapa baris kode dijelaskan dalam dokumentasi ini.
🚀 Tugas: Latih Model Skip-Gram
Dalam lab, kami menantang Anda untuk memodifikasi kode dari pelajaran ini untuk melatih model skip-gram alih-alih CBoW. Baca detailnya
Penafian:
Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan berasaskan AI. Walaupun kami berusaha untuk ketepatan, sila sedar bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidakakuratan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat penting, terjemahan manusia profesional disyorkan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini.