AI-For-Beginners/translations/da/lessons/4-ComputerVision/11-ObjectDetection

Objektgenkendelse

De billedklassifikationsmodeller, vi hidtil har arbejdet med, tog et billede og producerede et kategorisk resultat, som f.eks. klassen 'nummer' i et MNIST-problem. Men i mange tilfælde ønsker vi ikke blot at vide, at et billede viser objekter – vi vil også kunne bestemme deres præcise placering. Det er netop formålet med objektgenkendelse.

Quiz før lektionen

Billede fra YOLO v2 hjemmeside

En naiv tilgang til objektgenkendelse

Hvis vi antager, at vi vil finde en kat på et billede, kunne en meget naiv tilgang til objektgenkendelse være følgende:

1. Opdel billedet i et antal fliser.
2. Kør billedklassifikation på hver flise.
3. De fliser, der resulterer i tilstrækkelig høj aktivering, kan betragtes som indeholdende det ønskede objekt.

Billede fra Øvelsesnotebook

Denne tilgang er dog langt fra ideel, da den kun tillader algoritmen at lokalisere objektets afgrænsningsboks meget upræcist. For en mere præcis placering skal vi udføre en form for regression for at forudsige koordinaterne for afgrænsningsboksene – og til det har vi brug for specifikke datasæt.

Regression til objektgenkendelse

Dette blogindlæg giver en god introduktion til at detektere former.

Datasæt til objektgenkendelse

Du kan støde på følgende datasæt til denne opgave:

• PASCAL VOC - 20 klasser
• COCO - Common Objects in Context. 80 klasser, afgrænsningsbokse og segmenteringsmasker

Metrikker for objektgenkendelse

Intersection over Union

Mens det er nemt at måle, hvor godt en algoritme klarer sig i billedklassifikation, skal vi i objektgenkendelse måle både korrektheden af klassen og præcisionen af den forudsagte placering af afgrænsningsboksen. Til det sidste bruger vi den såkaldte Intersection over Union (IoU), som måler, hvor godt to bokse (eller to vilkårlige områder) overlapper.

Figur 2 fra dette fremragende blogindlæg om IoU

Ideen er simpel – vi dividerer arealet af overlap mellem to figurer med arealet af deres union. For to identiske områder vil IoU være 1, mens det for helt adskilte områder vil være 0. Ellers vil det variere fra 0 til 1. Vi overvejer typisk kun de afgrænsningsbokse, hvor IoU er over en bestemt værdi.

Gennemsnitlig præcision

Antag, at vi vil måle, hvor godt en given klasse af objekter C genkendes. Til dette bruger vi metrikken Gennemsnitlig præcision, som beregnes således:

1. Overvej en Precision-Recall-kurve, der viser nøjagtigheden afhængigt af en detektionstærskelværdi (fra 0 til 1).
2. Afhængigt af tærsklen vil vi få flere eller færre objekter detekteret i billedet og forskellige værdier for præcision og recall.
3. Kurven vil se sådan ud:

Billede fra NeuroWorkshop

Den gennemsnitlige præcision for en given klasse C er arealet under denne kurve. Mere præcist opdeles Recall-aksen typisk i 10 dele, og præcisionen gennemsnittes over alle disse punkter:

AP = {1\over11}\sum_{i=0}^{10}\mbox{Precision}(\mbox{Recall}={i\over10})

AP og IoU

Vi overvejer kun de detektioner, hvor IoU er over en bestemt værdi. For eksempel antages \mbox{IoU Threshold} = 0.5 typisk i PASCAL VOC-datasættet, mens AP i COCO måles for forskellige værdier af \mbox{IoU Threshold}.

Billede fra NeuroWorkshop

Gennemsnitlig gennemsnitlig præcision - mAP

Den vigtigste metrik for objektgenkendelse kaldes Gennemsnitlig gennemsnitlig præcision, eller mAP. Det er værdien af gennemsnitlig præcision, gennemsnittet over alle objektklasser og nogle gange også over \mbox{IoU Threshold}. Processen for at beregne mAP er beskrevet mere detaljeret i dette blogindlæg), og også her med kodeeksempler.

Forskellige tilgange til objektgenkendelse

Der er to brede klasser af algoritmer til objektgenkendelse:

• Region Proposal Networks (R-CNN, Fast R-CNN, Faster R-CNN). Hovedideen er at generere Regions of Interest (ROI) og køre CNN over dem for at finde maksimal aktivering. Det minder lidt om den naive tilgang, bortset fra at ROIs genereres på en mere intelligent måde. En af de største ulemper ved sådanne metoder er, at de er langsomme, fordi vi har brug for mange gennemløb af CNN-klassifikatoren over billedet.
• One-pass (YOLO, SSD, RetinaNet) metoder. I disse arkitekturer designer vi netværket til at forudsige både klasser og ROIs i én gennemløb.

R-CNN: Region-baseret CNN

R-CNN bruger Selective Search til at generere en hierarkisk struktur af ROI-regioner, som derefter sendes gennem CNN-featureekstraktorer og SVM-klassifikatorer for at bestemme objektklassen og lineær regression for at bestemme afgrænsningsboksens koordinater. Officiel artikel

Billede fra van de Sande et al. ICCV’11

Billeder fra denne blog

F-RCNN - Fast R-CNN

Denne tilgang ligner R-CNN, men regioner defineres efter, at konvolutionslagene er blevet anvendt.

Billede fra den officielle artikel, arXiv, 2015

Faster R-CNN

Hovedideen med denne tilgang er at bruge et neuralt netværk til at forudsige ROIs – det såkaldte Region Proposal Network. Artikel, 2016

Billede fra den officielle artikel

R-FCN: Region-baseret fuldt konvolutionelt netværk

Denne algoritme er endnu hurtigere end Faster R-CNN. Hovedideen er følgende:

1. Vi udtrækker features ved hjælp af ResNet-101.
2. Features behandles af Position-Sensitive Score Map. Hvert objekt fra C klasser opdeles i k\times k regioner, og vi træner til at forudsige dele af objekter.
3. For hver del fra k\times k regioner stemmer alle netværk for objektklasser, og den objektklasse med flest stemmer vælges.

Billede fra officiel artikel

YOLO - You Only Look Once

YOLO er en realtids one-pass algoritme. Hovedideen er følgende:

• Billedet opdeles i S\times S regioner.
• For hver region forudsiger CNN n mulige objekter, afgrænsningsboksens koordinater og tillid=sandsynlighed * IoU.

Billede fra officiel artikel

Andre algoritmer

• RetinaNet: officiel artikel
  • PyTorch-implementering i Torchvision
  • Keras-implementering
  • Objektgenkendelse med RetinaNet i Keras-eksempler
• SSD (Single Shot Detector): officiel artikel

✍️ Øvelser: Objektgenkendelse

Fortsæt din læring i følgende notebook:

ObjectDetection.ipynb

Konklusion

I denne lektion fik du en hurtig gennemgang af de forskellige måder, hvorpå objektgenkendelse kan udføres!

🚀 Udfordring

Læs disse artikler og notebooks om YOLO, og prøv dem selv:

• Godt blogindlæg om YOLO
• Officiel hjemmeside
• Yolo: Keras-implementering, trin-for-trin notebook
• Yolo v2: Keras-implementering, trin-for-trin notebook

Quiz efter lektionen

Gennemgang & Selvstudie

• Objektgenkendelse af Nikhil Sardana
• En god sammenligning af algoritmer til objektgenkendelse
• Gennemgang af dyb læringsalgoritmer til objektgenkendelse
• En trin-for-trin introduktion til de grundlæggende algoritmer for objektgenkendelse
• Implementering af Faster R-CNN i Python til objektgenkendelse

Opgave: Objektgenkendelse

---