10 KiB
Τμηματοποίηση
Έχουμε ήδη μάθει για την Ανίχνευση Αντικειμένων, η οποία μας επιτρέπει να εντοπίζουμε αντικείμενα στην εικόνα προβλέποντας τα περιγράμματα τους. Ωστόσο, για ορισμένες εργασίες δεν χρειαζόμαστε μόνο περιγράμματα, αλλά και πιο ακριβή εντοπισμό αντικειμένων. Αυτή η εργασία ονομάζεται τμηματοποίηση.
Pre-lecture quiz
Η τμηματοποίηση μπορεί να θεωρηθεί ως ταξινόμηση εικονοστοιχείων, όπου για κάθε εικονοστοιχείο της εικόνας πρέπει να προβλέψουμε την κατηγορία του (το φόντο είναι μία από τις κατηγορίες). Υπάρχουν δύο κύριοι αλγόριθμοι τμηματοποίησης:
- Η Σημασιολογική τμηματοποίηση απλώς αναφέρει την κατηγορία του εικονοστοιχείου, χωρίς να κάνει διάκριση μεταξύ διαφορετικών αντικειμένων της ίδιας κατηγορίας.
- Η Τμηματοποίηση ανά αντικείμενο χωρίζει τις κατηγορίες σε διαφορετικές οντότητες.
Για την τμηματοποίηση ανά αντικείμενο, αυτά τα πρόβατα είναι διαφορετικά αντικείμενα, αλλά για τη σημασιολογική τμηματοποίηση όλα τα πρόβατα αντιπροσωπεύονται από μία κατηγορία.
Εικόνα από αυτήν την ανάρτηση στο blog
Υπάρχουν διάφορες νευρωνικές αρχιτεκτονικές για την τμηματοποίηση, αλλά όλες έχουν την ίδια δομή. Με έναν τρόπο, είναι παρόμοια με τον αυτοκωδικοποιητή που μάθατε προηγουμένως, αλλά αντί να αποδομήσουμε την αρχική εικόνα, στόχος μας είναι να αποδομήσουμε μια μάσκα. Έτσι, ένα δίκτυο τμηματοποίησης έχει τα εξής μέρη:
- Κωδικοποιητής εξάγει χαρακτηριστικά από την είσοδο της εικόνας.
- Αποκωδικοποιητής μετατρέπει αυτά τα χαρακτηριστικά στην εικόνα μάσκας, με το ίδιο μέγεθος και αριθμό καναλιών που αντιστοιχούν στον αριθμό των κατηγοριών.
Εικόνα από αυτήν τη δημοσίευση
Πρέπει να αναφέρουμε ειδικά τη συνάρτηση απώλειας που χρησιμοποιείται για την τμηματοποίηση. Όταν χρησιμοποιούμε κλασικούς αυτοκωδικοποιητές, πρέπει να μετρήσουμε την ομοιότητα μεταξύ δύο εικόνων, και μπορούμε να χρησιμοποιήσουμε το μέσο τετραγωνικό σφάλμα (MSE) για αυτό. Στην τμηματοποίηση, κάθε εικονοστοιχείο στην εικόνα μάσκας στόχου αντιπροσωπεύει τον αριθμό της κατηγορίας (κωδικοποιημένο με one-hot κατά την τρίτη διάσταση), οπότε πρέπει να χρησιμοποιήσουμε συναρτήσεις απώλειας ειδικές για ταξινόμηση - απώλεια διασταυρούμενης εντροπίας, με μέσο όρο σε όλα τα εικονοστοιχεία. Εάν η μάσκα είναι δυαδική - χρησιμοποιείται η απώλεια δυαδικής διασταυρούμενης εντροπίας (BCE).
✅ Η κωδικοποίηση one-hot είναι ένας τρόπος κωδικοποίησης μιας ετικέτας κατηγορίας σε έναν διάνυσμα μήκους ίσου με τον αριθμό των κατηγοριών. Δείτε αυτό το άρθρο για αυτήν την τεχνική.
Τμηματοποίηση για Ιατρική Απεικόνιση
Σε αυτό το μάθημα, θα δούμε την τμηματοποίηση σε δράση εκπαιδεύοντας το δίκτυο να αναγνωρίζει ανθρώπινα σπίλους (γνωστά και ως ελιές) σε ιατρικές εικόνες. Θα χρησιμοποιήσουμε τη PH2 Βάση Δεδομένων δερματοσκοπικών εικόνων ως πηγή εικόνων. Αυτή η βάση δεδομένων περιέχει 200 εικόνες τριών κατηγοριών: τυπικός σπίλος, άτυπος σπίλος και μελάνωμα. Όλες οι εικόνες περιέχουν επίσης μια αντίστοιχη μάσκα που περιγράφει τον σπίλο.
✅ Αυτή η τεχνική είναι ιδιαίτερα κατάλληλη για αυτόν τον τύπο ιατρικής απεικόνισης, αλλά ποιες άλλες εφαρμογές στον πραγματικό κόσμο μπορείτε να φανταστείτε;
Εικόνα από τη Βάση Δεδομένων PH2
Θα εκπαιδεύσουμε ένα μοντέλο να τμηματοποιεί οποιονδήποτε σπίλο από το φόντο του.
✍️ Ασκήσεις: Σημασιολογική Τμηματοποίηση
Ανοίξτε τα παρακάτω σημειωματάρια για να μάθετε περισσότερα σχετικά με διαφορετικές αρχιτεκτονικές σημασιολογικής τμηματοποίησης, να εξασκηθείτε στη χρήση τους και να τις δείτε σε δράση.
Post-lecture quiz
Συμπέρασμα
Η τμηματοποίηση είναι μια πολύ ισχυρή τεχνική για την ταξινόμηση εικόνων, προχωρώντας πέρα από τα περιγράμματα σε ταξινόμηση σε επίπεδο εικονοστοιχείου. Είναι μια τεχνική που χρησιμοποιείται στην ιατρική απεικόνιση, μεταξύ άλλων εφαρμογών.
🚀 Πρόκληση
Η τμηματοποίηση σώματος είναι μόνο μία από τις κοινές εργασίες που μπορούμε να κάνουμε με εικόνες ανθρώπων. Άλλες σημαντικές εργασίες περιλαμβάνουν την ανίχνευση σκελετού και την ανίχνευση στάσης. Δοκιμάστε τη βιβλιοθήκη OpenPose για να δείτε πώς μπορεί να χρησιμοποιηθεί η ανίχνευση στάσης.
Ανασκόπηση & Αυτοδιδασκαλία
Αυτό το άρθρο στη Wikipedia προσφέρει μια καλή επισκόπηση των διάφορων εφαρμογών αυτής της τεχνικής. Μάθετε περισσότερα μόνοι σας για τους υποτομείς της Τμηματοποίησης ανά Αντικείμενο και της Πανοπτικής Τμηματοποίησης σε αυτόν τον τομέα έρευνας.
Assignment
Σε αυτό το εργαστήριο, δοκιμάστε την τμηματοποίηση ανθρώπινου σώματος χρησιμοποιώντας το Segmentation Full Body MADS Dataset από το Kaggle.
Αποποίηση Ευθύνης:
Αυτό το έγγραφο έχει μεταφραστεί χρησιμοποιώντας την υπηρεσία αυτόματης μετάφρασης Co-op Translator. Παρόλο που καταβάλλουμε προσπάθειες για ακρίβεια, παρακαλούμε να έχετε υπόψη ότι οι αυτόματες μεταφράσεις ενδέχεται να περιέχουν σφάλματα ή ανακρίβειες. Το πρωτότυπο έγγραφο στη μητρική του γλώσσα θα πρέπει να θεωρείται η αυθεντική πηγή. Για κρίσιμες πληροφορίες, συνιστάται επαγγελματική ανθρώπινη μετάφραση. Δεν φέρουμε ευθύνη για τυχόν παρεξηγήσεις ή εσφαλμένες ερμηνείες που προκύπτουν από τη χρήση αυτής της μετάφρασης.