12 KiB
Detekce objektů
Modely klasifikace obrázků, se kterými jsme se dosud zabývali, přijímaly obrázek a produkovaly kategorický výsledek, například třídu 'číslo' v problému MNIST. Nicméně v mnoha případech nechceme jen vědět, že obrázek zobrazuje objekty – chceme být schopni určit jejich přesnou polohu. To je přesně smysl detekce objektů.
Kvíz před lekcí
Obrázek z webu YOLO v2
Naivní přístup k detekci objektů
Předpokládejme, že chceme najít kočku na obrázku. Velmi naivní přístup k detekci objektů by byl následující:
- Rozdělíme obrázek na množství dlaždic.
- Provedeme klasifikaci obrázků na každé dlaždici.
- Dlaždice, které vykazují dostatečně vysokou aktivaci, můžeme považovat za obsahující hledaný objekt.
Obrázek z cvičebního notebooku
Tento přístup však není ideální, protože algoritmu umožňuje určit ohraničující rámeček objektu jen velmi nepřesně. Pro přesnější určení polohy musíme použít nějakou formu regrese, která předpovídá souřadnice ohraničujících rámečků – a k tomu potřebujeme specifické datové sady.
Regrese pro detekci objektů
Tento blogový příspěvek nabízí skvělý úvod do detekce tvarů.
Datové sady pro detekci objektů
Můžete narazit na následující datové sady pro tento úkol:
- PASCAL VOC – 20 tříd
- COCO – Common Objects in Context. 80 tříd, ohraničující rámečky a segmentační masky
Metriky detekce objektů
Průnik přes sjednocení (Intersection over Union)
Zatímco u klasifikace obrázků je snadné měřit, jak dobře algoritmus funguje, u detekce objektů musíme měřit jak správnost třídy, tak přesnost určené polohy ohraničujícího rámečku. Pro druhé zmíněné používáme tzv. Průnik přes sjednocení (IoU), který měří, jak dobře se dva rámečky (nebo dvě libovolné oblasti) překrývají.
Obrázek 2 z tohoto skvělého blogového příspěvku o IoU
Princip je jednoduchý – rozdělíme plochu průniku dvou obrazců plochou jejich sjednocení. Pro dvě identické oblasti bude IoU rovno 1, zatímco pro zcela nesouvisející oblasti bude rovno 0. Jinak se bude pohybovat mezi 0 a 1. Typicky zvažujeme pouze ty ohraničující rámečky, pro které je IoU nad určitou hodnotou.
Průměrná přesnost (Average Precision)
Předpokládejme, že chceme měřit, jak dobře je rozpoznána daná třída objektů C. K měření používáme metriky Průměrné přesnosti, která se vypočítává následovně:
- Zvažte křivku přesnosti a odvolání (Precision-Recall), která ukazuje přesnost v závislosti na hodnotě prahové detekce (od 0 do 1).
- V závislosti na prahu získáme více či méně detekovaných objektů na obrázku a různé hodnoty přesnosti a odvolání.
- Křivka bude vypadat takto:
Obrázek z NeuroWorkshop
Průměrná přesnost pro danou třídu C je plocha pod touto křivkou. Přesněji řečeno, osa odvolání je obvykle rozdělena na 10 částí a přesnost je průměrována přes všechny tyto body:
AP = {1\over11}\sum_{i=0}^{10}\mbox{Precision}(\mbox{Recall}={i\over10})
AP a IoU
Zvažujeme pouze ty detekce, pro které je IoU nad určitou hodnotou. Například v datové sadě PASCAL VOC je obvykle \mbox{IoU Threshold} = 0.5, zatímco v COCO se AP měří pro různé hodnoty \mbox{IoU Threshold}.
Obrázek z NeuroWorkshop
Průměrná přesnost napříč třídami – mAP
Hlavní metrika pro detekci objektů se nazývá Průměrná přesnost napříč třídami, nebo mAP. Jedná se o hodnotu průměrné přesnosti, průměrovanou přes všechny třídy objektů, a někdy také přes \mbox{IoU Threshold}. Podrobnější popis procesu výpočtu mAP najdete
v tomto blogovém příspěvku), a také zde s ukázkami kódu.
Různé přístupy k detekci objektů
Existují dvě hlavní třídy algoritmů detekce objektů:
- Sítě pro návrh regionů (R-CNN, Fast R-CNN, Faster R-CNN). Hlavní myšlenkou je generovat regiony zájmu (ROI) a spustit CNN nad nimi, hledající maximální aktivaci. Je to trochu podobné naivnímu přístupu, s výjimkou toho, že ROI jsou generovány chytřejším způsobem. Jednou z hlavních nevýhod těchto metod je, že jsou pomalé, protože je potřeba mnoho průchodů klasifikátoru CNN nad obrázkem.
- Jednopasové (YOLO, SSD, RetinaNet) metody. V těchto architekturách navrhujeme síť tak, aby předpovídala jak třídy, tak ROI v jednom průchodu.
R-CNN: Region-Based CNN
R-CNN používá Selektivní vyhledávání k vytvoření hierarchické struktury regionů ROI, které jsou následně zpracovány extraktory funkcí CNN a klasifikátory SVM k určení třídy objektu, a lineární regresí k určení souřadnic ohraničujícího rámečku. Oficiální článek
Obrázek z van de Sande et al. ICCV’11
Obrázky z tohoto blogu
F-RCNN - Fast R-CNN
Tento přístup je podobný R-CNN, ale regiony jsou definovány po aplikaci konvolučních vrstev.
Obrázek z oficiálního článku, arXiv, 2015
Faster R-CNN
Hlavní myšlenkou tohoto přístupu je použití neuronové sítě k předpovědi ROI – tzv. Sítě pro návrh regionů. Článek, 2016
Obrázek z oficiálního článku
R-FCN: Region-Based Fully Convolutional Network
Tento algoritmus je ještě rychlejší než Faster R-CNN. Hlavní myšlenka je následující:
- Extrahujeme funkce pomocí ResNet-101.
- Funkce jsou zpracovány pomocí Mapy skóre citlivé na polohu. Každý objekt z
Ctříd je rozdělen nak\times kregiony a trénujeme na předpověď částí objektů. - Pro každou část z
k\times kregionů všechny sítě hlasují pro třídy objektů a třída objektu s maximálním počtem hlasů je vybrána.
Obrázek z oficiálního článku
YOLO - You Only Look Once
YOLO je algoritmus pro detekci v reálném čase s jedním průchodem. Hlavní myšlenka je následující:
- Obrázek je rozdělen na
S\times Sregiony. - Pro každý region CNN předpovídá
nmožných objektů, souřadnice ohraničujícího rámečku a důvěru=pravděpodobnost * IoU.
Obrázek z oficiálního článku
Další algoritmy
- RetinaNet: oficiální článek
- Implementace v PyTorch
- Implementace v Keras
- Detekce objektů pomocí RetinaNet v ukázkách Keras
- SSD (Single Shot Detector): oficiální článek
✍️ Cvičení: Detekce objektů
Pokračujte ve svém učení v následujícím notebooku:
Závěr
V této lekci jste se rychle seznámili s různými způsoby, jak lze detekci objektů provádět!
🚀 Výzva
Projděte si tyto články a notebooky o YOLO a vyzkoušejte je sami:
- Skvělý blogový příspěvek popisující YOLO
- Oficiální web
- Yolo: Implementace v Keras, krok za krokem notebook
- Yolo v2: Implementace v Keras, krok za krokem notebook
Kvíz po lekci
Přehled & Samostudium
- Detekce objektů od Nikhila Sardany
- Dobrý přehled algoritmů detekce objektů
- Přehled algoritmů hlubokého učení pro detekci objektů
- Úvod do základních algoritmů detekce objektů krok za krokem
- Implementace Faster R-CNN v Pythonu pro detekci objektů
Úkol: Detekce objektů
Prohlášení:
Tento dokument byl přeložen pomocí služby pro automatický překlad Co-op Translator. Ačkoli se snažíme o přesnost, mějte prosím na paměti, že automatické překlady mohou obsahovat chyby nebo nepřesnosti. Původní dokument v jeho původním jazyce by měl být považován za autoritativní zdroj. Pro důležité informace se doporučuje profesionální lidský překlad. Neodpovídáme za žádná nedorozumění nebo nesprávné interpretace vyplývající z použití tohoto překladu.