AI-For-Beginners/translations/fi/lessons/3-NeuralNetworks/04-OwnFramework

Johdanto neuroverkkoihin. Monikerroksinen perceptron

Edellisessä osiossa opit yksinkertaisimmasta neuroverkkonmallista – yksikerroksisesta perceptronista, joka on lineaarinen kahden luokan luokittelumalli.

Tässä osiossa laajennamme tätä mallia joustavammaksi kehykseksi, joka mahdollistaa:

• suorittaa moniluokkaluokittelua kahden luokan luokittelun lisäksi
• ratkaista regressio-ongelmia luokittelun lisäksi
• erottaa luokkia, jotka eivät ole lineaarisesti erotettavissa

Kehitämme myös oman modulaarisen Python-kehyksen, jonka avulla voimme rakentaa erilaisia neuroverkkorakenteita.

Ennakkokysely

Koneoppimisen formalisointi

Aloitetaan koneoppimisongelman formalisoinnista. Oletetaan, että meillä on harjoitusaineisto X ja sen luokat Y, ja meidän täytyy rakentaa malli f, joka tekee mahdollisimman tarkkoja ennusteita. Ennusteiden laatua mitataan tappiofunktiolla ℒ. Seuraavia tappiofunktioita käytetään usein:

• Regressio-ongelmassa, kun meidän täytyy ennustaa luku, voimme käyttää absoluuttista virhettä ∑_i|f(x⁽ⁱ⁾)-y⁽ⁱ⁾| tai neliöllistä virhettä ∑_i(f(x⁽ⁱ⁾)-y⁽ⁱ⁾)²
• Luokittelussa käytämme 0-1 tappiofunktiota (joka on käytännössä sama kuin mallin tarkkuus) tai logistista tappiofunktiota.

Yksikerroksisessa perceptronissa funktio f määriteltiin lineaarisena funktiona f(x)=wx+b (tässä w on painomatriisi, x on syöteominaisuuksien vektori ja b on bias-vektori). Eri neuroverkkorakenteissa tämä funktio voi olla monimutkaisempi.

Luokittelussa on usein toivottavaa saada todennäköisyydet vastaaville luokille verkon ulostulona. Muuttaaksemme satunnaiset luvut todennäköisyyksiksi (esim. normalisoidaksemme ulostulon), käytämme usein softmax-funktiota σ, jolloin funktio f muuttuu muotoon f(x)=σ(wx+b).

Yllä olevassa f-määritelmässä w ja b kutsutaan parametreiksi θ=⟨w,b⟩. Kun aineisto ⟨X,Y⟩ on annettu, voimme laskea kokonaisvirheen koko aineistolle parametrien θ funktiona.

✅ Neuroverkon koulutuksen tavoite on minimoida virhe muuttamalla parametreja θ

Gradienttimenetelmä optimointiin

On olemassa tunnettu optimointimenetelmä nimeltä gradienttimenetelmä. Ideana on, että voimme laskea derivaatan (moniulotteisessa tapauksessa gradientin) tappiofunktion suhteen parametreihin ja muuttaa parametreja siten, että virhe pienenee. Tämä voidaan formalisoida seuraavasti:

• Alusta parametrit satunnaisilla arvoilla w⁽⁰⁾, b⁽⁰⁾
• Toista seuraava vaihe monta kertaa:
  • w⁽ⁱ⁺¹⁾ = w⁽ⁱ⁾-η∂ℒ/∂w
  • b⁽ⁱ⁺¹⁾ = b⁽ⁱ⁾-η∂ℒ/∂b

Koulutuksen aikana optimointivaiheet lasketaan yleensä koko aineistoa käyttäen (muista, että tappio lasketaan summana kaikkien harjoitusnäytteiden läpi). Käytännössä otamme kuitenkin pieniä osia aineistosta, joita kutsutaan minibatcheiksi, ja laskemme gradientit aineiston osajoukon perusteella. Koska osajoukko valitaan satunnaisesti joka kerta, menetelmää kutsutaan stokastiseksi gradienttimenetelmäksi (SGD).

Monikerroksiset perceptronit ja takaisinkuljetus

Yksikerroksinen verkko, kuten olemme nähneet, pystyy luokittelemaan lineaarisesti erotettavia luokkia. Rikkaamman mallin rakentamiseksi voimme yhdistää useita verkon kerroksia. Matemaattisesti tämä tarkoittaisi, että funktio f olisi monimutkaisempi ja laskettaisiin useassa vaiheessa:

• z₁=w₁x+b₁
• z₂=w₂α(z₁)+b₂
• f = σ(z₂)

Tässä α on epälineaarinen aktivointifunktio, σ on softmax-funktio, ja parametrit ovat θ=<w₁,b₁,w₂,b₂>.

Gradienttimenetelmä pysyy samana, mutta gradienttien laskeminen on monimutkaisempaa. Ketjulaskusäännön avulla voimme laskea derivaatat seuraavasti:

• ∂ℒ/∂w₂ = (∂ℒ/∂σ)(∂σ/∂z₂)(∂z₂/∂w₂)
• ∂ℒ/∂w₁ = (∂ℒ/∂σ)(∂σ/∂z₂)(∂z₂/∂α)(∂α/∂z₁)(∂z₁/∂w₁)

✅ Ketjulaskusääntöä käytetään tappiofunktion derivaattojen laskemiseen parametrien suhteen.

Huomaa, että kaikkien näiden lausekkeiden vasemmanpuoleinen osa on sama, ja näin voimme tehokkaasti laskea derivaatat aloittaen tappiofunktiosta ja kulkemalla "taaksepäin" laskentakaavion läpi. Siksi monikerroksisen perceptronin koulutusmenetelmää kutsutaan takaisinkuljetukseksi tai 'backpropiksi'.

TODO: kuvan lähde

✅ Käymme takaisinkuljetuksen paljon yksityiskohtaisemmin läpi esimerkkimuistikirjassamme.

Yhteenveto

Tässä oppitunnissa rakensimme oman neuroverkkokirjaston ja käytimme sitä yksinkertaiseen kaksiulotteiseen luokittelutehtävään.

🚀 Haaste

Mukana olevassa muistikirjassa toteutat oman kehyksen monikerroksisten perceptronien rakentamiseen ja kouluttamiseen. Näet yksityiskohtaisesti, miten modernit neuroverkot toimivat.

Siirry OwnFramework -muistikirjaan ja käy se läpi.

Jälkikysely

Kertaus ja itseopiskelu

Takaisinkuljetus on yleinen algoritmi tekoälyssä ja koneoppimisessa, ja sitä kannattaa tutkia tarkemmin.

Tehtävä

Tässä laboratoriossa sinun tulee käyttää tämän oppitunnin aikana rakentamaasi kehystä MNIST-käsinkirjoitettujen numeroiden luokitteluun.

• Ohjeet
• Muistikirja

---