f2a27efc74
|
||
|---|---|---|
| .. | ||
| GPT-PyTorch.ipynb | ||
| README.md | ||
README.md
Miundo Mikubwa ya Lugha Iliyofunzwa Kabla
Katika kazi zetu zote za awali, tulikuwa tukifundisha mtandao wa neva kufanya kazi fulani kwa kutumia seti ya data yenye lebo. Kwa miundo mikubwa ya transformer, kama BERT, tunatumia uundaji wa lugha kwa njia ya kujifunza binafsi ili kujenga mfano wa lugha, ambao baadaye unataalamishwa kwa kazi maalum za chini kwa mafunzo zaidi ya kikoa maalum. Hata hivyo, imeonyeshwa kuwa miundo mikubwa ya lugha inaweza pia kutatua kazi nyingi bila mafunzo yoyote maalum ya kikoa. Familia ya miundo inayoweza kufanya hivyo inaitwa GPT: Generative Pre-Trained Transformer.
Jaribio la Kabla ya Somo
Uundaji wa Maandishi na Perplexity
Wazo la mtandao wa neva kuwa na uwezo wa kufanya kazi za jumla bila mafunzo ya chini linaonyeshwa katika karatasi ya Language Models are Unsupervised Multitask Learners. Wazo kuu ni kwamba kazi nyingine nyingi zinaweza kuundwa kwa kutumia uundaji wa maandishi, kwa sababu kuelewa maandishi kimsingi kunamaanisha kuwa na uwezo wa kuyazalisha. Kwa sababu mfano umefundishwa kwa kiasi kikubwa cha maandishi yanayojumuisha maarifa ya binadamu, pia unakuwa na maarifa kuhusu mada mbalimbali.
Kuelewa na kuwa na uwezo wa kuzalisha maandishi pia kunahusisha kujua kitu kuhusu ulimwengu unaotuzunguka. Watu pia hujifunza kwa kusoma kwa kiwango kikubwa, na mtandao wa GPT ni sawa katika muktadha huu.
Mitandao ya uundaji wa maandishi hufanya kazi kwa kutabiri uwezekano wa neno linalofuata $P(w_N). Hata hivyo, uwezekano usio na masharti wa neno linalofuata ni sawa na marudio ya neno hilo katika hifadhidata ya maandishi. GPT inaweza kutupa **uwezekano wa masharti** wa neno linalofuata, ikizingatia yale ya awali: P(w_N | w_{n-1}, ..., w_0)$
Unaweza kusoma zaidi kuhusu uwezekano katika Mtaala wetu wa Sayansi ya Data kwa Wanaoanza
Ubora wa mfano wa uundaji wa lugha unaweza kufafanuliwa kwa kutumia perplexity. Ni kipimo cha ndani kinachoturuhusu kupima ubora wa mfano bila seti ya data maalum ya kazi. Kinategemea dhana ya uwezekano wa sentensi - mfano unatoa uwezekano mkubwa kwa sentensi inayoweza kuwa halisi (yaani, mfano haujachanganyikiwa nayo), na uwezekano mdogo kwa sentensi ambazo hazina maana (mfano: Je, inaweza kufanya nini?). Tunapotoa sentensi kutoka hifadhidata halisi ya maandishi kwa mfano wetu, tunatarajia kuwa na uwezekano mkubwa, na perplexity ndogo. Kihisabati, inafafanuliwa kama uwezekano wa kinyume uliowekwa wa seti ya majaribio:
\mathrm{Perplexity}(W) = \sqrt[N]{1\over P(W_1,...,W_N)}
Unaweza kujaribu uundaji wa maandishi kwa kutumia hariri ya maandishi inayotumia GPT kutoka Hugging Face. Katika hariri hii, unaanza kuandika maandishi yako, na ukibonyeza [TAB] utapewa chaguo kadhaa za kukamilisha. Ikiwa ni fupi sana, au haujaridhika nazo - bonyeza [TAB] tena, na utakuwa na chaguo zaidi, ikiwa ni pamoja na vipande virefu vya maandishi.
GPT ni Familia
GPT si mfano mmoja, bali ni mkusanyiko wa miundo iliyotengenezwa na kufundishwa na OpenAI.
Chini ya miundo ya GPT, tunayo:
| GPT-2 | GPT 3 | GPT-4 |
|---|---|---|
| Mfano wa lugha wenye hadi vigezo bilioni 1.5. | Mfano wa lugha wenye hadi vigezo bilioni 175 | Vigezo trilioni 100 na unakubali pembejeo za picha na maandishi na kutoa maandishi. |
Miundo ya GPT-3 na GPT-4 inapatikana kama huduma ya utambuzi kutoka Microsoft Azure, na kama API ya OpenAI.
Uhandisi wa Maagizo
Kwa sababu GPT imefundishwa kwa kiasi kikubwa cha data ili kuelewa lugha na msimbo, hutoa matokeo kwa kujibu pembejeo (maagizo). Maagizo ni pembejeo au maswali ya GPT ambapo mtu hutoa maelekezo kwa miundo kuhusu kazi inayofuata kukamilishwa. Ili kupata matokeo unayotaka, unahitaji agizo bora zaidi ambalo linahusisha kuchagua maneno sahihi, miundo, misemo au hata alama. Mbinu hii inaitwa Uhandisi wa Maagizo.
Hati hii inakupa maelezo zaidi kuhusu uhandisi wa maagizo.
✍️ Daftari la Mfano: Kucheza na OpenAI-GPT
Endelea kujifunza katika daftari zifuatazo:
Hitimisho
Miundo mipya ya lugha iliyofunzwa kabla ya jumla haifanyi tu muundo wa lugha, lakini pia ina kiasi kikubwa cha lugha ya asili. Kwa hivyo, inaweza kutumika kwa ufanisi kutatua baadhi ya kazi za NLP katika mipangilio ya zero-shop au few-shot.