AI-For-Beginners/translations/tr/lessons/5-NLP/15-LanguageModeling

Dil Modellemesi

Word2Vec ve GloVe gibi anlamsal gömmeler aslında dil modellemesine doğru atılmış ilk adımlardır - dilin doğasını bir şekilde anlayan (veya temsil eden) modeller oluşturmak.

Ders Öncesi Testi

Dil modellemesinin temel fikri, modelleri etiketlenmemiş veri kümeleri üzerinde gözetimsiz bir şekilde eğitmektir. Bu önemlidir çünkü elimizde çok büyük miktarda etiketlenmemiş metin bulunurken, etiketlenmiş metin miktarı her zaman etiketleme için harcayabileceğimiz çaba ile sınırlı olacaktır. Çoğu zaman, metindeki eksik kelimeleri tahmin edebilen dil modelleri oluşturabiliriz, çünkü metindeki rastgele bir kelimeyi gizlemek ve bunu bir eğitim örneği olarak kullanmak oldukça kolaydır.

Gömmeleri Eğitmek

Önceki örneklerimizde önceden eğitilmiş anlamsal gömmeler kullandık, ancak bu gömmelerin nasıl eğitilebileceğini görmek ilginçtir. Kullanılabilecek birkaç fikir vardır:

• N-Gram dil modellemesi, burada bir tokeni önceki N tokena bakarak tahmin ederiz (N-gram).
• Continuous Bag-of-Words (CBoW), burada bir token dizisindeki W_{-N}, ..., W_N arasında ortadaki token W_0'ı tahmin ederiz.
• Skip-gram, burada ortadaki token W_0'dan komşu tokenlerin bir setini {W_{-N},\dots, W_{-1}, W_1,\dots, W_N} tahmin ederiz.

Görsel bu makaleden

✍️ Örnek Not Defterleri: CBoW Modeli Eğitimi

Aşağıdaki not defterlerinde öğreniminize devam edin:

• TensorFlow ile CBoW Word2Vec Eğitimi
• PyTorch ile CBoW Word2Vec Eğitimi

Sonuç

Önceki derste kelime gömmelerinin adeta sihir gibi çalıştığını gördük! Şimdi kelime gömmeleri eğitmenin çok karmaşık bir iş olmadığını biliyoruz ve gerekirse alan spesifik metinler için kendi kelime gömmelerimizi eğitebiliriz.

Ders Sonrası Testi

Gözden Geçirme ve Kendi Kendine Çalışma

• PyTorch'un Resmi Dil Modelleme Eğitimi.
• TensorFlow'un Resmi Word2Vec Modeli Eğitimi.
• gensim çerçevesini kullanarak en yaygın kullanılan gömmeleri birkaç satır kodla eğitmek bu belgede açıklanmıştır.

🚀 Görev: Skip-Gram Modeli Eğitimi

Laboratuvarda, bu dersteki kodu değiştirerek CBoW yerine skip-gram modeli eğitmenizi istiyoruz. Detayları okuyun

---