f2699f91dc
|
||
|---|---|---|
| .. | ||
| lab | ||
| CBoW-PyTorch.ipynb | ||
| CBoW-TF.ipynb | ||
| README.md | ||
README.md
Dil Modellemesi
Word2Vec ve GloVe gibi anlamsal gömme yöntemleri aslında dil modellemesine doğru atılmış ilk adımdır - dilin doğasını bir şekilde anlayan (veya temsil eden) modeller oluşturmak.
Ders Öncesi Test
Dil modellemesinin temel fikri, modelleri etiketlenmemiş veri kümeleri üzerinde gözetimsiz bir şekilde eğitmektir. Bu önemlidir çünkü elimizde büyük miktarda etiketlenmemiş metin bulunurken, etiketlenmiş metin miktarı her zaman etiketleme için harcayabileceğimiz çabayla sınırlı olacaktır. Çoğu zaman, metindeki eksik kelimeleri tahmin edebilen dil modelleri oluşturabiliriz, çünkü metindeki rastgele bir kelimeyi maskelemek ve bunu bir eğitim örneği olarak kullanmak oldukça kolaydır.
Gömme Yöntemlerinin Eğitimi
Önceki örneklerimizde, önceden eğitilmiş anlamsal gömme yöntemlerini kullandık, ancak bu gömme yöntemlerinin nasıl eğitilebileceğini görmek ilginçtir. Kullanılabilecek birkaç farklı fikir vardır:
- N-Gram dil modellemesi: Bir belirteci, önceki N belirtece bakarak tahmin ettiğimiz yöntem (N-gram).
- Sürekli Kelime Çantası (CBoW): Bir belirteç dizisindeki
W_{-N}, ...,W_Nbelirteçleri arasında ortadaki belirteçW_0'ı tahmin ettiğimiz yöntem. - Skip-gram: Ortadaki belirteç
W_0'dan, komşu belirteçler kümesini {W_{-N},\dots, W_{-1}, W_1,\dots, W_N} tahmin ettiğimiz yöntem.
Görsel bu makaleden alınmıştır.
✍️ Örnek Defterler: CBoW Modeli Eğitimi
Aşağıdaki defterlerde öğreniminize devam edebilirsiniz:
Sonuç
Önceki derste, kelime gömmelerinin adeta bir sihir gibi çalıştığını görmüştük! Şimdi ise kelime gömmelerini eğitmenin çok karmaşık bir iş olmadığını biliyoruz ve gerekirse alanına özgü metinler için kendi kelime gömmelerimizi eğitebileceğimizi öğrenmiş olduk.
Ders Sonrası Test
Gözden Geçirme ve Kendi Kendine Çalışma
- PyTorch'un Resmi Dil Modelleme Eğitimi.
- TensorFlow'un Word2Vec Modeli Eğitimi için Resmi Eğitimi.
- gensim çerçevesini kullanarak en yaygın kullanılan gömme yöntemlerini birkaç satır kodla eğitme yöntemi bu belgede açıklanmıştır.
🚀 Görev: Skip-Gram Modeli Eğitin
Laboratuvarda, bu dersteki kodu değiştirerek CBoW yerine skip-gram modeli eğitmenizi istiyoruz. Detayları okuyun.
Feragatname:
Bu belge, AI çeviri hizmeti Co-op Translator kullanılarak çevrilmiştir. Doğruluk için çaba göstersek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Belgenin orijinal dili, yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilir. Bu çevirinin kullanımından kaynaklanan yanlış anlamalar veya yanlış yorumlamalar için sorumluluk kabul etmiyoruz.