AI-For-Beginners/translations/fi/lessons/4-ComputerVision/11-ObjectDetection/README.md

Objektien tunnistus

Kuvien luokittelumallit, joita olemme tähän mennessä käsitelleet, ottavat kuvan ja tuottavat kategorisen tuloksen, kuten luokan 'numero' MNIST-ongelmassa. Monissa tapauksissa emme kuitenkaan halua vain tietää, että kuva esittää objekteja – haluamme pystyä määrittämään niiden tarkka sijainti. Juuri tähän objektien tunnistus keskittyy.

Pre-lecture quiz

Kuva YOLO v2 -verkkosivustolta

Naiivi lähestymistapa objektien tunnistukseen

Oletetaan, että haluaisimme löytää kissan kuvasta. Hyvin yksinkertainen lähestymistapa objektien tunnistukseen voisi olla seuraava:

1. Pilko kuva useiksi ruuduiksi.
2. Suorita kuvien luokittelu jokaiselle ruudulle.
3. Ruudut, jotka tuottavat riittävän korkean aktivoinnin, voidaan katsoa sisältävän kyseisen objektin.

Kuva harjoitusmuistiosta

Tämä lähestymistapa on kuitenkin kaukana ihanteellisesta, koska se sallii algoritmin määrittää objektin rajauslaatikon sijainnin vain hyvin epätarkasti. Tarkempaa sijaintia varten meidän täytyy käyttää jonkinlaista regressiota ennustamaan rajauslaatikoiden koordinaatit – ja tätä varten tarvitsemme erityisiä tietoaineistoja.

Regressio objektien tunnistukseen

Tämä blogikirjoitus tarjoaa hyvän johdannon muotojen tunnistukseen.

Tietoaineistot objektien tunnistukseen

Tässä tehtävässä saatat törmätä seuraaviin tietoaineistoihin:

• PASCAL VOC – 20 luokkaa
• COCO – Common Objects in Context. 80 luokkaa, rajauslaatikot ja segmentointimaskit

Objektien tunnistuksen mittarit

Intersection over Union

Kuvien luokittelussa algoritmin suorituskyvyn mittaaminen on helppoa, mutta objektien tunnistuksessa meidän täytyy mitata sekä luokan oikeellisuus että ennustetun rajauslaatikon sijainnin tarkkuus. Jälkimmäistä varten käytämme niin kutsuttua Intersection over Union (IoU) -mittaria, joka mittaa, kuinka hyvin kaksi laatikkoa (tai kaksi satunnaista aluetta) menevät päällekkäin.

Kuva 2 tästä erinomaisesta IoU-blogikirjoituksesta

Idea on yksinkertainen – jaamme kahden kuvion leikkausalueen pinta-alan niiden yhdistymisalueen pinta-alalla. Kahdelle identtiselle alueelle IoU olisi 1, kun taas täysin erillisille alueille se olisi 0. Muuten se vaihtelee välillä 0–1. Tyypillisesti otamme huomioon vain ne rajauslaatikot, joiden IoU ylittää tietyn arvon.

Keskiarvoinen tarkkuus (Average Precision)

Oletetaan, että haluamme mitata, kuinka hyvin tietty objektiluokka C tunnistetaan. Tätä varten käytämme keskiarvoista tarkkuutta (Average Precision), joka lasketaan seuraavasti:

1. Tarkastellaan tarkkuus-kutsukäyrää, joka näyttää tarkkuuden tunnistuskynnyksen arvon (0–1) mukaan.
2. Kynnyksen mukaan saamme enemmän tai vähemmän objekteja tunnistettua kuvasta, ja tarkkuuden ja kutsun arvot vaihtelevat.
3. Käyrä näyttää tältä:

Kuva NeuroWorkshopista

Keskiarvoinen tarkkuus tietylle luokalle C on tämän käyrän alla oleva pinta-ala. Tarkemmin sanottuna kutsu-akseli jaetaan tyypillisesti 10 osaan, ja tarkkuus keskiarvoistetaan kaikissa näissä pisteissä:

AP = {1\over11}\sum_{i=0}^{10}\mbox{Precision}(\mbox{Recall}={i\over10})

AP ja IoU

Otamme huomioon vain ne tunnistukset, joiden IoU ylittää tietyn arvon. Esimerkiksi PASCAL VOC -tietoaineistossa tyypillisesti \mbox{IoU Threshold} = 0.5, kun taas COCO:ssa AP mitataan eri \mbox{IoU Threshold}-arvoille.

Kuva NeuroWorkshopista

Keskiarvoinen tarkkuus (Mean Average Precision - mAP)

Objektien tunnistuksen päämittari on keskiarvoinen tarkkuus, eli mAP. Se on keskiarvoisen tarkkuuden arvo, keskiarvoistettuna kaikkien objektiluokkien yli, ja joskus myös \mbox{IoU Threshold}-arvojen yli. Tarkempi kuvaus mAP-laskentaprosessista löytyy tästä blogikirjoituksesta), sekä täältä koodiesimerkkien kanssa.

Eri lähestymistavat objektien tunnistukseen

Objektien tunnistusalgoritmit voidaan jakaa kahteen pääluokkaan:

• Alue-ehdotusverkot (R-CNN, Fast R-CNN, Faster R-CNN). Pääidea on luoda kiinnostusalueita (ROI) ja ajaa CNN niiden yli, etsien maksimaalista aktivointia. Tämä on hieman samanlainen kuin naiivi lähestymistapa, mutta ROI:t luodaan älykkäämmin. Yksi suurimmista haittapuolista tällaisissa menetelmissä on niiden hitaus, koska CNN-luokittelijaa täytyy ajaa kuvan yli monta kertaa.
• Yhden passin (YOLO, SSD, RetinaNet) menetelmät. Näissä arkkitehtuureissa verkko suunnitellaan ennustamaan sekä luokat että ROI:t yhdellä passilla.

R-CNN: Aluepohjainen CNN

R-CNN käyttää Selective Search -menetelmää luomaan hierarkkisen rakenteen ROI-alueista, jotka sitten syötetään CNN-ominaisuuksien erottimiin ja SVM-luokittelijoihin objektin luokan määrittämiseksi, sekä lineaariseen regressioon rajauslaatikon koordinaattien määrittämiseksi. Virallinen artikkeli

Kuva van de Sande et al. ICCV’11

Kuvat tästä blogista

F-RCNN - Fast R-CNN

Tämä lähestymistapa on samanlainen kuin R-CNN, mutta alueet määritellään vasta konvoluutiokerrosten soveltamisen jälkeen.

Kuva virallisesta artikkelista, arXiv, 2015

Faster R-CNN

Tämän lähestymistavan pääidea on käyttää neuroverkkoa ennustamaan ROI:t – niin kutsuttu Region Proposal Network. Artikkeli, 2016

Kuva virallisesta artikkelista

R-FCN: Aluepohjainen täysin konvoluutioverkko

Tämä algoritmi on jopa nopeampi kuin Faster R-CNN. Pääidea on seuraava:

1. Ominaisuudet erotetaan ResNet-101:llä.
2. Ominaisuudet käsitellään Position-Sensitive Score Map -kartalla. Jokainen objekti luokasta C jaetaan k\times k alueisiin, ja verkkoa koulutetaan ennustamaan objektien osia.
3. Jokaiselle osalle k\times k alueista kaikki verkot äänestävät objektin luokista, ja eniten ääniä saanut luokka valitaan.

Kuva virallisesta artikkelista

YOLO - You Only Look Once

YOLO on reaaliaikainen yhden passin algoritmi. Pääidea on seuraava:

• Kuva jaetaan S\times S alueisiin.
• Jokaiselle alueelle CNN ennustaa n mahdollista objektia, rajauslaatikon koordinaatit ja luottamus=todennäköisyys * IoU.

Kuva virallisesta artikkelista

Muut algoritmit

• RetinaNet: virallinen artikkeli
  • PyTorch-toteutus Torchvisionissa
  • Keras-toteutus
  • Objektien tunnistus RetinaNetillä Keras-esimerkeissä
• SSD (Single Shot Detector): virallinen artikkeli

✍️ Harjoitukset: Objektien tunnistus

Jatka oppimista seuraavassa muistiossa:

ObjectDetection.ipynb

Yhteenveto

Tässä oppitunnissa tutustuit moniin eri tapoihin, joilla objektien tunnistus voidaan toteuttaa!

🚀 Haaste

Lue nämä artikkelit ja muistiot YOLO:sta ja kokeile niitä itse:

• Hyvä blogikirjoitus YOLO:sta
• Virallinen sivusto
• Yolo: Keras-toteutus, askel-askeleelta muistio
• Yolo v2: Keras-toteutus, askel-askeleelta muistio

Post-lecture quiz

Kertaus & Itseopiskelu

• Objektien tunnistus kirjoittanut Nikhil Sardana
• Hyvä vertailu objektien tunnistusalgoritmeista
• Katsaus syväoppimisalgoritmeihin objektien tunnistuksessa
• Perusteellinen johdanto objektien tunnistusalgoritmeihin askel askeleelta
• Faster R-CNN:n toteutus Pythonilla objektien tunnistukseen

Tehtävä: Objektien tunnistus

---