33ce0e5757
|
||
|---|---|---|
| .. | ||
| GPT-PyTorch.ipynb | ||
| README.md | ||
README.md
Önceden Eğitilmiş Büyük Dil Modelleri
Önceki tüm görevlerimizde, etiketlenmiş bir veri seti kullanarak belirli bir görevi yerine getirmek için bir sinir ağı eğitiyorduk. BERT gibi büyük transformer modelleriyle, dil modelleme işlemini kendi kendine denetimli bir şekilde kullanarak bir dil modeli oluşturuyoruz ve ardından bu modeli belirli bir alt görev için alanına özel eğitimle özelleştiriyoruz. Ancak, büyük dil modellerinin herhangi bir alanına özel eğitim olmadan birçok görevi çözebileceği gösterilmiştir. Bu tür görevleri gerçekleştirebilen model ailesine GPT: Generative Pre-Trained Transformer denir.
Ders Öncesi Test
Metin Üretimi ve Perpleksite
Bir sinir ağının alt görev eğitimi olmadan genel görevleri yapabilme fikri, Language Models are Unsupervised Multitask Learners makalesinde sunulmuştur. Ana fikir, birçok diğer görevin metin üretimi kullanılarak modellenebileceğidir, çünkü metni anlamak aslında onu üretebilmek anlamına gelir. Model, insan bilgisini kapsayan büyük miktarda metin üzerinde eğitildiği için, geniş bir konu yelpazesi hakkında bilgi sahibi olur.
Metni anlamak ve üretebilmek, çevremizdeki dünya hakkında bir şeyler bilmeyi de gerektirir. İnsanlar büyük ölçüde okuyarak öğrenir ve GPT ağı bu açıdan benzer bir şekilde çalışır.
Metin üretim ağları, bir sonraki kelimenin olasılığını tahmin ederek çalışır $P(w_N)Ancak, bir sonraki kelimenin koşulsuz olasılığı, bu kelimenin metin corpusundaki sıklığına eşittir. GPT, önceki kelimeler göz önüne alındığında bir sonraki kelimenin **koşullu olasılığını** verebilir:P(w_N | w_{n-1}, ..., w_0)$
Olasılıklar hakkında daha fazla bilgi için Data Science for Beginners Müfredatımızı okuyabilirsiniz.
Dil üretim modelinin kalitesi perpleksite kullanılarak tanımlanabilir. Bu, herhangi bir göreve özel veri seti olmadan model kalitesini ölçmemizi sağlayan içsel bir metriktir. Bir cümlenin olasılığı kavramına dayanır - model, gerçek olma olasılığı yüksek bir cümleye yüksek olasılık atar (yani model bu cümle karşısında şaşkın değildir) ve daha az anlam ifade eden cümlelere düşük olasılık atar (örneğin, Can it does what?). Modelimize gerçek bir metin corpusundan cümleler verdiğimizde, bu cümlelerin yüksek olasılığa ve düşük perpleksiteye sahip olmasını bekleriz. Matematiksel olarak, test setinin normalize edilmiş ters olasılığı olarak tanımlanır:
\mathrm{Perplexity}(W) = \sqrt[N]{1\over P(W_1,...,W_N)}
Hugging Face'in GPT destekli metin editörü ile metin üretimini deneyebilirsiniz. Bu editörde, metninizi yazmaya başlarsınız ve [TAB] tuşuna basarak birkaç tamamlama seçeneği alırsınız. Eğer seçenekler çok kısa veya tatmin edici değilse, tekrar [TAB] tuşuna basarak daha fazla seçenek, hatta daha uzun metin parçaları alabilirsiniz.
GPT Bir Ailedir
GPT tek bir model değil, OpenAI tarafından geliştirilen ve eğitilen bir model koleksiyonudur.
GPT modelleri altında şunlar bulunur:
| GPT-2 | GPT-3 | GPT-4 |
|---|---|---|
| 1.5 milyar parametreye kadar dil modeli. | 175 milyar parametreye kadar dil modeli | 100T parametreye sahip ve hem görüntü hem de metin girdilerini kabul edip metin çıktıları verir. |
GPT-3 ve GPT-4 modelleri Microsoft Azure'dan bir bilişsel hizmet olarak ve OpenAI API olarak kullanılabilir.
Prompt Mühendisliği
GPT, dil ve kodu anlamak için büyük miktarda veri üzerinde eğitildiğinden, girdilere (prompts) yanıt olarak çıktılar sağlar. Prompts, GPT'ye verilen girdiler veya sorgulardır; burada modellerin tamamlaması gereken görevler için talimatlar verilir. İstenilen sonucu elde etmek için en etkili promptu oluşturmak gerekir; bu, doğru kelimeleri, formatları, ifadeleri veya hatta sembolleri seçmeyi içerir. Bu yaklaşım Prompt Mühendisliği olarak adlandırılır.
Bu dokümantasyon size prompt mühendisliği hakkında daha fazla bilgi sağlar.
✍️ Örnek Notebook: OpenAI-GPT ile Oynamak
Aşağıdaki notebooklarda öğrenmeye devam edin:
Sonuç
Yeni genel önceden eğitilmiş dil modelleri yalnızca dil yapısını modellemekle kalmaz, aynı zamanda büyük miktarda doğal dil içerir. Bu nedenle, bazı NLP görevlerini sıfır-shot veya az-shot ayarlarında etkili bir şekilde çözmek için kullanılabilirler.