AI-For-Beginners/translations/sw/lessons/5-NLP/15-LanguageModeling

Uundaji wa Lugha

Uwakilishi wa semantiki, kama Word2Vec na GloVe, kwa kweli ni hatua ya kwanza kuelekea uundaji wa lugha - kuunda mifano inayoweza kuelewa (au kuwakilisha) asili ya lugha.

Maswali ya awali ya somo

Wazo kuu nyuma ya uundaji wa lugha ni kuifundisha kwenye seti za data zisizo na lebo kwa njia isiyo ya kusimamiwa. Hili ni muhimu kwa sababu tuna kiasi kikubwa cha maandishi yasiyo na lebo yanayopatikana, wakati kiasi cha maandishi yaliyo na lebo daima kitakuwa kidogo kutokana na juhudi tunazoweza kutumia katika kuweka lebo. Mara nyingi, tunaweza kujenga mifano ya lugha inayoweza kutabiri maneno yanayokosekana katika maandishi, kwa sababu ni rahisi kuficha neno la bahati nasibu katika maandishi na kulitumia kama sampuli ya mafunzo.

Mafunzo ya Uwakilishi

Katika mifano yetu ya awali, tulitumia uwakilishi wa semantiki uliokwisha kufundishwa, lakini ni jambo la kuvutia kuona jinsi uwakilishi huo unavyoweza kufundishwa. Kuna mawazo kadhaa yanayoweza kutumika:

• Uundaji wa lugha wa N-Gram, ambapo tunatabiri tokeni kwa kuangalia tokeni N za awali (N-gram).
• Mfuko Endelevu wa Maneno (CBoW), ambapo tunatabiri tokeni ya katikati W_0 katika mlolongo wa tokeni W_{-N}, ..., W_N.
• Skip-gram, ambapo tunatabiri seti ya tokeni za jirani {W_{-N},\dots, W_{-1}, W_1,\dots, W_N} kutoka tokeni ya katikati W_0.

Picha kutoka karatasi hii

✍️ Noti za Mfano: Mafunzo ya Mfano wa CBoW

Endelea kujifunza katika noti zifuatazo:

• Mafunzo ya CBoW Word2Vec kwa kutumia TensorFlow
• Mafunzo ya CBoW Word2Vec kwa kutumia PyTorch

Hitimisho

Katika somo la awali tuliona kwamba uwakilishi wa maneno hufanya kazi kama uchawi! Sasa tunajua kwamba kufundisha uwakilishi wa maneno si kazi ngumu sana, na tunapaswa kuwa na uwezo wa kufundisha uwakilishi wetu wa maneno kwa maandishi maalum ya kikoa ikiwa inahitajika.

Maswali ya baada ya somo

Mapitio na Kujifunza Binafsi

• Mafunzo rasmi ya PyTorch kuhusu Uundaji wa Lugha.
• Mafunzo rasmi ya TensorFlow kuhusu kufundisha mfano wa Word2Vec.
• Kutumia mfumo wa gensim kufundisha uwakilishi unaotumika sana kwa mistari michache ya msimbo imeelezwa katika nyaraka hizi.

🚀 Kazi: Fundisha Mfano wa Skip-Gram

Katika maabara, tunakupa changamoto ya kurekebisha msimbo kutoka somo hili ili kufundisha mfano wa skip-gram badala ya CBoW. Soma maelezo

Kanusho:
Hati hii imetafsiriwa kwa kutumia huduma ya tafsiri ya AI Co-op Translator. Ingawa tunajitahidi kuhakikisha usahihi, tafadhali fahamu kuwa tafsiri za kiotomatiki zinaweza kuwa na makosa au kutokuwa sahihi. Hati ya asili katika lugha yake ya awali inapaswa kuchukuliwa kama chanzo cha mamlaka. Kwa taarifa muhimu, tafsiri ya kitaalamu ya binadamu inapendekezwa. Hatutawajibika kwa kutoelewana au tafsiri zisizo sahihi zinazotokana na matumizi ya tafsiri hii.