# विभाजन

हमने पहले ऑब्जेक्ट डिटेक्शन के बारे में सीखा है, जो हमें *बाउंडिंग बॉक्स* की भविष्यवाणी करके छवि में वस्तुओं को स्थानांतरित करने की अनुमति देता है। हालाँकि, कुछ कार्यों के लिए हमें केवल बाउंडिंग बॉक्स की आवश्यकता नहीं होती है, बल्कि अधिक सटीक वस्तु स्थानांतरण की भी आवश्यकता होती है। इस कार्य को **विभाजन** कहा जाता है।

## [प्री-लेचर क्विज़](https://red-field-0a6ddfd03.1.azurestaticapps.net/quiz/112)

विभाजन को **पिक्सेल वर्गीकरण** के रूप में देखा जा सकता है, जबकि छवि के **प्रत्येक** पिक्सेल के लिए हमें उसकी श्रेणी की भविष्यवाणी करनी होती है (*पृष्ठभूमि* एक श्रेणी है)। दो मुख्य विभाजन एल्गोरिदम हैं:

* **सेमांटिक विभाजन** केवल पिक्सेल की श्रेणी बताता है, और एक ही श्रेणी की विभिन्न वस्तुओं के बीच भेद नहीं करता है।
* **इंस्टेंस विभाजन** श्रेणियों को विभिन्न उदाहरणों में विभाजित करता है।

उदाहरण के लिए, इन भेड़ों को इंस्टेंस विभाजन में विभिन्न वस्तुएं माना जाता है, लेकिन सेमांटिक विभाजन में सभी भेड़ों को एक श्रेणी द्वारा दर्शाया जाता है।

<img src="images/instance_vs_semantic.jpeg" width="50%">

> छवि [इस ब्लॉग पोस्ट](https://nirmalamurali.medium.com/image-classification-vs-semantic-segmentation-vs-instance-segmentation-625c33a08d50) से ली गई है।

विभाजन के लिए विभिन्न न्यूरल आर्किटेक्चर हैं, लेकिन सभी की संरचना समान होती है। एक तरह से, यह ऑटोएन्कोडर के समान है जिसे आपने पहले सीखा था, लेकिन मूल छवि को विघटित करने के बजाय, हमारा लक्ष्य एक **मास्क** को विघटित करना है। इस प्रकार, एक विभाजन नेटवर्क के निम्नलिखित भाग होते हैं:

* **एन्कोडर** इनपुट छवि से विशेषताएँ निकालता है।
* **डिकोडर** उन विशेषताओं को **मास्क छवि** में परिवर्तित करता है, जिसमें श्रेणियों की संख्या के अनुसार समान आकार और चैनलों की संख्या होती है।

<img src="images/segm.png" width="80%">

> छवि [इस प्रकाशन](https://arxiv.org/pdf/2001.05566.pdf) से ली गई है।

हमें विशेष रूप से उस हानि फ़ंक्शन का उल्लेख करना चाहिए जो विभाजन के लिए उपयोग किया जाता है। जब हम पारंपरिक ऑटोएन्कोडर्स का उपयोग करते हैं, तो हमें दो छवियों के बीच समानता को मापने की आवश्यकता होती है, और हम ऐसा करने के लिए औसत वर्ग त्रुटि (MSE) का उपयोग कर सकते हैं। विभाजन में, लक्ष्य मास्क छवि में प्रत्येक पिक्सेल श्रेणी संख्या का प्रतिनिधित्व करता है (तीसरे आयाम के साथ एक-गर्म-कोडित), इसलिए हमें वर्गीकरण के लिए विशिष्ट हानि फ़ंक्शन का उपयोग करने की आवश्यकता होती है - सभी पिक्सेल पर औसत क्रॉस-एंट्रॉपी हानि। यदि मास्क बाइनरी है - **बाइनरी क्रॉस-एंट्रॉपी हानि** (BCE) का उपयोग किया जाता है।

> ✅ एक-गर्म कोडिंग एक वर्ग लेबल को वर्गों की संख्या के बराबर लंबाई के वेक्टर में कोड करने का एक तरीका है। इस तकनीक पर [इस लेख](https://datagy.io/sklearn-one-hot-encode/) पर एक नज़र डालें।

## चिकित्सा इमेजिंग के लिए विभाजन

इस पाठ में, हम चिकित्सा छवियों पर मानव नेवी (जिसे मस्से भी कहा जाता है) को पहचानने के लिए नेटवर्क को प्रशिक्षित करके विभाजन को क्रियान्वित होते हुए देखेंगे। हम <a href="https://www.fc.up.pt/addi/ph2%20database.html">PH<sup>2</sup> डेटाबेस</a> का उपयोग करेंगे, जो डर्मोस्कोपी छवियों का स्रोत है। इस डेटा सेट में तीन श्रेणियों: सामान्य नेवी, असामान्य नेवी, और मेलेनोमा की 200 छवियाँ शामिल हैं। सभी छवियों में एक संबंधित **मास्क** भी होता है जो नेवी को रेखांकित करता है।

> ✅ यह तकनीक इस प्रकार की चिकित्सा इमेजिंग के लिए विशेष रूप से उपयुक्त है, लेकिन आप अन्य वास्तविक दुनिया के अनुप्रयोगों की कल्पना कैसे कर सकते हैं?

<img alt="navi" src="images/navi.png"/>

> PH<sup>2</sup> डेटाबेस से छवि

हम किसी भी नेवी को इसके पृष्ठभूमि से विभाजित करने के लिए एक मॉडल को प्रशिक्षित करेंगे।

## ✍️ व्यायाम: सेमांटिक विभाजन

नीचे दिए गए नोटबुक खोलें ताकि आप विभिन्न सेमांटिक विभाजन आर्किटेक्चर के बारे में अधिक जान सकें, उनके साथ काम करने का अभ्यास कर सकें, और उन्हें क्रियान्वित होते हुए देख सकें।

* [सेमांटिक विभाजन पायटॉर्च](../../../../../lessons/4-ComputerVision/12-Segmentation/SemanticSegmentationPytorch.ipynb)
* [सेमांटिक विभाजन टेन्सरफ्लो](../../../../../lessons/4-ComputerVision/12-Segmentation/SemanticSegmentationTF.ipynb)

## [पोस्ट-लेचर क्विज़](https://red-field-0a6ddfd03.1.azurestaticapps.net/quiz/212)

## निष्कर्ष

विभाजन छवि वर्गीकरण के लिए एक बहुत शक्तिशाली तकनीक है, जो बाउंडिंग बॉक्स से पिक्सेल स्तर की वर्गीकरण में आगे बढ़ती है। यह चिकित्सा इमेजिंग सहित अन्य अनुप्रयोगों में उपयोग की जाने वाली एक तकनीक है।

## 🚀 चुनौती

शरीर विभाजन केवल एक सामान्य कार्य है जो हम लोगों की छवियों के साथ कर सकते हैं। अन्य महत्वपूर्ण कार्यों में **कंकाल पहचान** और **स्थिति पहचान** शामिल हैं। स्थिति पहचान का उपयोग देखने के लिए [OpenPose](https://github.com/CMU-Perceptual-Computing-Lab/openpose) लाइब्रेरी का प्रयास करें।

## समीक्षा और आत्म अध्ययन

यह [विकिपीडिया लेख](https://wikipedia.org/wiki/Image_segmentation) इस तकनीक के विभिन्न अनुप्रयोगों का एक अच्छा अवलोकन प्रदान करता है। इस जांच के क्षेत्र में इंस्टेंस विभाजन और पैनोप्टिक विभाजन के उपडोमेन के बारे में अधिक जानें।

## [असाइनमेंट](lab/README.md)

इस प्रयोगशाला में, [Segmentation Full Body MADS Dataset](https://www.kaggle.com/datasets/tapakah68/segmentation-full-body-mads-dataset) का उपयोग करके **मानव शरीर विभाजन** का प्रयास करें।

**अस्वीकृति**:  
यह दस्तावेज़ मशीन-आधारित एआई अनुवाद सेवाओं का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयासरत हैं, कृपया ध्यान दें कि स्वचालित अनुवादों में त्रुटियाँ या अशुद्धियाँ हो सकती हैं। मूल दस्तावेज़ को उसकी मूल भाषा में प्राधिकृत स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। हम इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए जिम्मेदार नहीं हैं।