AI-For-Beginners/translations/ne/lessons/5-NLP/19-NER

नामित इकाई पहिचान

अहिलेसम्म, हामी प्रायः एक NLP कार्य - वर्गीकरणमा केन्द्रित भएका छौं। तर, न्यूरल नेटवर्कहरू प्रयोग गरेर अन्य NLP कार्यहरू पनि गर्न सकिन्छ। तीमध्ये एक कार्य हो नामित इकाई पहिचान (NER), जसले पाठभित्र विशेष इकाईहरू जस्तै स्थानहरू, व्यक्तिको नामहरू, मिति-समय अन्तरालहरू, रसायनिक सूत्रहरू आदि पहिचान गर्न मद्दत गर्दछ।

पूर्व-व्याख्यान क्विज

NER प्रयोगको उदाहरण

मानौं तपाईंले Amazon Alexa वा Google Assistant जस्तै प्राकृतिक भाषा च्याट बोट विकास गर्न चाहनुहुन्छ। बौद्धिक च्याट बोटहरू यसरी काम गर्छन् कि प्रयोगकर्ताले के चाहन्छ भनेर बुझ्नको लागि इनपुट वाक्यमा पाठ वर्गीकरण गर्छन्। यस वर्गीकरणको नतिजा इन्टेन्ट हो, जसले च्याट बोटले के गर्नुपर्छ भन्ने निर्धारण गर्छ।

लेखकद्वारा प्रदान गरिएको छवि

तर, प्रयोगकर्ताले वाक्यांशको भागको रूपमा केही प्यारामिटरहरू प्रदान गर्न सक्छ। उदाहरणका लागि, मौसम सोध्दा, उनले स्थान वा मिति निर्दिष्ट गर्न सक्छन्। बोटले ती इकाईहरू बुझ्न सक्नुपर्छ र कार्य गर्नु अघि प्यारामिटर स्लटहरू भरिदिनुपर्छ। यही ठाउँमा NER उपयोगी हुन्छ।

✅ अर्को उदाहरण वैज्ञानिक चिकित्सा कागजातहरूको विश्लेषण हो। मुख्य कुरा भनेको विशिष्ट चिकित्सा शब्दहरू जस्तै रोगहरू र चिकित्सा पदार्थहरू खोज्नु हो। केही रोगहरूलाई सम्भवतः सबस्ट्रिङ खोज प्रयोग गरेर निकाल्न सकिन्छ, तर जटिल इकाईहरू जस्तै रसायनिक यौगिकहरू र औषधिको नामहरूको लागि जटिल दृष्टिकोण आवश्यक हुन्छ।

टोकन वर्गीकरणको रूपमा NER

NER मोडेलहरू मूलतः टोकन वर्गीकरण मोडेलहरू हुन्, किनकि प्रत्येक इनपुट टोकनको लागि हामीले निर्णय गर्नुपर्छ कि यो कुनै इकाईमा पर्छ कि पर्दैन, र यदि पर्छ भने - कुन इकाई वर्गमा पर्छ।

निम्न कागजात शीर्षकलाई विचार गर्नुहोस्:

Tricuspid valve regurgitation र lithium carbonate toxicity नवजात शिशुमा।

यहाँ इकाईहरू छन्:

• Tricuspid valve regurgitation एक रोग हो (DIS)
• Lithium carbonate एक रसायनिक पदार्थ हो (CHEM)
• Toxicity पनि एक रोग हो (DIS)

ध्यान दिनुहोस् कि एक इकाईले धेरै टोकनहरू समेट्न सक्छ। र, यस अवस्थामा, हामीले दुई लगातार इकाईहरू बीच भिन्नता गर्नुपर्छ। त्यसैले, प्रत्येक इकाईको लागि दुई वर्गहरू प्रयोग गर्नु सामान्य हो - एउटा इकाईको पहिलो टोकन निर्दिष्ट गर्ने (B- उपसर्ग, beginning को लागि), र अर्को - इकाईको निरन्तरता (I-, inner टोकनको लागि)। हामी O वर्गलाई सबै other टोकनहरू प्रतिनिधित्व गर्न प्रयोग गर्छौं। यस्तो टोकन ट्यागिङलाई BIO ट्यागिङ (वा IOB) भनिन्छ। ट्याग गरिएको अवस्थामा, हाम्रो शीर्षक यसरी देखिन्छ:

Token	Tag
Tricuspid	B-DIS
valve	I-DIS
regurgitation	I-DIS
and	O
lithium	B-CHEM
carbonate	I-CHEM
toxicity	B-DIS
in	O
a	O
newborn	O
infant	O
.	O

किनकि हामीले टोकनहरू र वर्गहरू बीच एक-देखि-एक सम्बन्ध निर्माण गर्नुपर्छ, हामी यस चित्रबाट सही many-to-many न्यूरल नेटवर्क मोडेल प्रशिक्षण गर्न सक्छौं:

Andrej Karpathy द्वारा यो ब्लग पोस्ट बाट छवि। NER टोकन वर्गीकरण मोडेलहरू यस चित्रको दायाँ-तर्फको नेटवर्क आर्किटेक्चरसँग मेल खान्छ।

NER मोडेलहरू प्रशिक्षण

किनकि NER मोडेल मूलतः टोकन वर्गीकरण मोडेल हो, हामी यस कार्यको लागि पहिले नै परिचित RNN प्रयोग गर्न सक्छौं। यस अवस्थामा, पुनरावर्ती नेटवर्कको प्रत्येक ब्लकले टोकन ID फिर्ता गर्नेछ। निम्न उदाहरण नोटबुकले टोकन वर्गीकरणको लागि LSTM कसरी प्रशिक्षण गर्ने देखाउँछ।

✍️ उदाहरण नोटबुकहरू: NER

निम्न नोटबुकमा सिकाइ जारी राख्नुहोस्:

• TensorFlow प्रयोग गरेर NER

निष्कर्ष

NER मोडेल एक टोकन वर्गीकरण मोडेल हो, जसको अर्थ यो टोकन वर्गीकरण गर्न प्रयोग गर्न सकिन्छ। यो NLP मा धेरै सामान्य कार्य हो, जसले पाठभित्र स्थानहरू, नामहरू, मितिहरू, र अन्य धेरै विशेष इकाईहरू पहिचान गर्न मद्दत गर्दछ।

🚀 चुनौती

तल लिंक गरिएको असाइनमेन्ट पूरा गरेर चिकित्सा शब्दहरूको लागि नामित इकाई पहिचान मोडेल प्रशिक्षण गर्नुहोस्, त्यसपछि यसलाई फरक डेटासेटमा प्रयास गर्नुहोस्।

पश्च-व्याख्यान क्विज

समीक्षा र आत्म अध्ययन

ब्लग The Unreasonable Effectiveness of Recurrent Neural Networks पढ्नुहोस् र उक्त लेखको Further Reading खण्डसँगै अध्ययन गरेर आफ्नो ज्ञानलाई गहिरो बनाउनुहोस्।

असाइनमेन्ट

यस पाठको असाइनमेन्टमा, तपाईंले चिकित्सा इकाई पहिचान मोडेल प्रशिक्षण गर्नुपर्नेछ। तपाईंले यस पाठमा वर्णन गरिएको LSTM मोडेल प्रशिक्षणबाट सुरु गर्न सक्नुहुन्छ, र BERT ट्रान्सफर्मर मोडेल प्रयोग गर्न अगाडि बढ्न सक्नुहुन्छ। निर्देशनहरू पढेर सबै विवरण प्राप्त गर्नुहोस्।

---