2555d81160
|
||
|---|---|---|
| .. | ||
| lab | ||
| README.md | ||
| SemanticSegmentationPytorch.ipynb | ||
| SemanticSegmentationTF.ipynb | ||
README.md
Segmentace
Dříve jsme se naučili o detekci objektů, která nám umožňuje lokalizovat objekty na obrázku předpovědí jejich ohraničujících rámečků. Pro některé úkoly však nepotřebujeme pouze ohraničující rámečky, ale také přesnější lokalizaci objektů. Tento úkol se nazývá segmentace.
Kvíz před lekcí
Segmentaci lze chápat jako klasifikaci pixelů, kde pro každý pixel obrázku musíme předpovědět jeho třídu (pozadí je jednou z tříd). Existují dva hlavní algoritmy segmentace:
- Sémantická segmentace určuje pouze třídu pixelu a nerozlišuje mezi různými objekty stejné třídy.
- Instance segmentace rozděluje třídy na různé instance.
Například u instance segmentace jsou tyto ovce různé objekty, ale u sémantické segmentace jsou všechny ovce reprezentovány jednou třídou.
Obrázek z tohoto blogového příspěvku
Existují různé neuronové architektury pro segmentaci, ale všechny mají stejnou strukturu. Svým způsobem je to podobné autoenkodéru, o kterém jste se již učili, ale místo rekonstrukce původního obrázku je naším cílem vytvořit masku. Segmentační síť má tedy následující části:
- Encoder extrahuje rysy z vstupního obrázku.
- Decoder transformuje tyto rysy do obrázku masky, který má stejnou velikost a počet kanálů odpovídající počtu tříd.
Obrázek z této publikace
Zvláštní zmínku si zaslouží ztrátová funkce používaná pro segmentaci. Při použití klasických autoenkodérů musíme měřit podobnost mezi dvěma obrázky, a k tomu můžeme použít střední kvadratickou chybu (MSE). U segmentace každý pixel v cílovém obrázku masky reprezentuje číslo třídy (one-hot-encoded ve třetím rozměru), takže musíme použít ztrátové funkce specifické pro klasifikaci - ztrátu křížové entropie, průměrovanou přes všechny pixely. Pokud je maska binární, používá se binární ztráta křížové entropie (BCE).
✅ One-hot encoding je způsob, jak zakódovat štítek třídy do vektoru o délce odpovídající počtu tříd. Podívejte se na tento článek o této technice.
Segmentace v lékařském zobrazování
V této lekci uvidíme segmentaci v praxi tím, že budeme trénovat síť na rozpoznávání lidských névů (známých také jako mateřská znaménka) na lékařských snímcích. Budeme používat PH2 databázi dermoskopických snímků jako zdroj obrázků. Tato sada dat obsahuje 200 obrázků tří tříd: typický névus, atypický névus a melanom. Všechny obrázky také obsahují odpovídající masku, která vymezuje névus.
✅ Tato technika je obzvláště vhodná pro tento typ lékařského zobrazování, ale jaké další reálné aplikace si dokážete představit?
Obrázek z PH2 databáze
Natrénujeme model, který bude segmentovat jakýkoli névus od jeho pozadí.
✍️ Cvičení: Sémantická segmentace
Otevřete níže uvedené notebooky, abyste se dozvěděli více o různých architekturách sémantické segmentace, procvičili si práci s nimi a viděli je v akci.
Kvíz po lekci
Závěr
Segmentace je velmi silná technika pro klasifikaci obrázků, která jde nad rámec ohraničujících rámečků až na úroveň klasifikace pixelů. Tato technika se používá v lékařském zobrazování a dalších aplikacích.
🚀 Výzva
Segmentace těla je jen jedním z běžných úkolů, které můžeme provádět s obrázky lidí. Další důležité úkoly zahrnují detekci kostry a detekci póz. Vyzkoušejte knihovnu OpenPose, abyste viděli, jak lze detekci póz využít.
Přehled a samostudium
Tento článek na Wikipedii nabízí dobrý přehled různých aplikací této techniky. Zjistěte více o podoblastech Instance segmentace a Panoptické segmentace v této oblasti.
Úkol
V této laboratoři zkuste segmentaci lidského těla pomocí Segmentation Full Body MADS Dataset z Kaggle.
Prohlášení:
Tento dokument byl přeložen pomocí služby pro automatický překlad Co-op Translator. Ačkoli se snažíme o přesnost, mějte prosím na paměti, že automatické překlady mohou obsahovat chyby nebo nepřesnosti. Původní dokument v jeho původním jazyce by měl být považován za autoritativní zdroj. Pro důležité informace se doporučuje profesionální lidský překlad. Neodpovídáme za žádná nedorozumění nebo nesprávné interpretace vyplývající z použití tohoto překladu.