AI-For-Beginners/translations/sv/lessons/5-NLP/16-RNN

Rekurrenta neurala nätverk

Quiz före föreläsning

I tidigare avsnitt har vi använt rika semantiska representationer av text och en enkel linjär klassificerare ovanpå inbäddningarna. Vad denna arkitektur gör är att fånga den aggregerade betydelsen av ord i en mening, men den tar inte hänsyn till ordningen av orden, eftersom aggregeringsoperationen ovanpå inbäddningarna tog bort denna information från den ursprungliga texten. Eftersom dessa modeller inte kan modellera ordordning, kan de inte lösa mer komplexa eller tvetydiga uppgifter som textgenerering eller frågehantering.

För att fånga betydelsen av textsekvenser behöver vi använda en annan neural nätverksarkitektur, som kallas ett rekurrent neuralt nätverk, eller RNN. I ett RNN skickar vi vår mening genom nätverket en symbol i taget, och nätverket producerar ett tillstånd, som vi sedan skickar tillbaka till nätverket tillsammans med nästa symbol.

Bild av författaren

Givet en inmatningssekvens av token X₀,...,X_n, skapar RNN en sekvens av neurala nätverksblock och tränar denna sekvens från början till slut med hjälp av backpropagation. Varje nätverksblock tar ett par (X_i,S_i) som indata och producerar S_i+1 som resultat. Det slutliga tillståndet S_n eller (utdata Y_n) skickas till en linjär klassificerare för att producera resultatet. Alla nätverksblock delar samma vikter och tränas från början till slut med en enda backpropagation-pass.

Eftersom tillståndsvektorerna S₀,...,S_n skickas genom nätverket, kan det lära sig sekventiella beroenden mellan ord. Till exempel, när ordet inte dyker upp någonstans i sekvensen, kan det lära sig att negera vissa element inom tillståndsvektorn, vilket resulterar i negation.

✅ Eftersom vikterna för alla RNN-block i bilden ovan är delade, kan samma bild representeras som ett block (till höger) med en rekurrent återkopplingsslinga, som skickar nätverkets utgångstillstånd tillbaka till indata.

Anatomi av en RNN-cell

Låt oss se hur en enkel RNN-cell är organiserad. Den tar emot det föregående tillståndet S_i-1 och den aktuella symbolen X_i som indata och måste producera utgångstillståndet S_i (och ibland är vi också intresserade av någon annan utdata Y_i, som i fallet med generativa nätverk).

En enkel RNN-cell har två viktmatriser inuti: en som transformerar en indatasymbol (vi kallar den W) och en annan som transformerar ett indatatillstånd (H). I detta fall beräknas nätverkets utdata som σ(W×X_i+H×S_i-1+b), där σ är aktiveringsfunktionen och b är en ytterligare bias.

Bild av författaren

I många fall skickas indatatoken genom inbäddningslagret innan de går in i RNN för att minska dimensionen. I detta fall, om dimensionen av indatavektorerna är emb_size och tillståndsvektorn är hid_size - är storleken på W emb_size×hid_size, och storleken på H är hid_size×hid_size.

Long Short Term Memory (LSTM)

Ett av de största problemen med klassiska RNN är det så kallade försvinnande gradienter-problemet. Eftersom RNN tränas från början till slut i en enda backpropagation-pass, har det svårt att sprida fel till de första lagren i nätverket, och därmed kan nätverket inte lära sig relationer mellan avlägsna token. Ett sätt att undvika detta problem är att införa explicit tillståndshantering genom att använda så kallade grindar. Det finns två välkända arkitekturer av detta slag: Long Short Term Memory (LSTM) och Gated Relay Unit (GRU).

Bildkälla TBD

LSTM-nätverket är organiserat på ett sätt som liknar RNN, men det finns två tillstånd som skickas från lager till lager: det faktiska tillståndet C och den dolda vektorn H. Vid varje enhet sammanfogas den dolda vektorn H_i med indata X_i, och de styr vad som händer med tillståndet C via grindar. Varje grind är ett neuralt nätverk med sigmoidaktivering (utdata i intervallet [0,1]), som kan ses som en bitmask när den multipliceras med tillståndsvektorn. Följande grindar finns (från vänster till höger i bilden ovan):

• Glömskegrinden tar en dold vektor och avgör vilka komponenter i vektorn C vi behöver glömma och vilka vi ska släppa igenom.
• Indatagrinden tar viss information från indata- och dolda vektorer och inför den i tillståndet.
• Utgångsgrinden transformerar tillståndet via ett linjärt lager med tanh-aktivering och väljer sedan vissa av dess komponenter med hjälp av den dolda vektorn H_i för att producera ett nytt tillstånd C_i+1.

Komponenter i tillståndet C kan ses som flaggor som kan slås på och av. Till exempel, när vi stöter på namnet Alice i sekvensen, kanske vi vill anta att det hänvisar till en kvinnlig karaktär och höja flaggan i tillståndet att vi har ett kvinnligt substantiv i meningen. När vi senare stöter på frasen och Tom, höjer vi flaggan att vi har ett plural substantiv. Genom att manipulera tillståndet kan vi alltså hålla reda på de grammatiska egenskaperna hos meningsdelar.

✅ En utmärkt resurs för att förstå LSTM:s interna funktioner är denna fantastiska artikel Understanding LSTM Networks av Christopher Olah.

Bidirektionella och flerskikts-RNN

Vi har diskuterat rekurrenta nätverk som arbetar i en riktning, från början av en sekvens till slutet. Det verkar naturligt, eftersom det liknar hur vi läser och lyssnar på tal. Men eftersom vi i många praktiska fall har slumpmässig åtkomst till inmatningssekvensen, kan det vara vettigt att köra rekurrent beräkning i båda riktningarna. Sådana nätverk kallas bidirektionella RNN. När vi arbetar med ett bidirektionellt nätverk behöver vi två dolda tillståndsvektorer, en för varje riktning.

Ett rekurrent nätverk, antingen enkelriktat eller bidirektionellt, fångar vissa mönster inom en sekvens och kan lagra dem i en tillståndsvektor eller skicka dem till utdata. Precis som med konvolutionella nätverk kan vi bygga ett annat rekurrent lager ovanpå det första för att fånga högre nivåmönster och bygga från låg-nivåmönster som extraherats av det första lagret. Detta leder oss till begreppet ett flerskikts-RNN, som består av två eller fler rekurrenta nätverk, där utdata från det föregående lagret skickas till nästa lager som indata.

Bild från detta fantastiska inlägg av Fernando López

✍️ Övningar: Inbäddningar

Fortsätt ditt lärande i följande anteckningsböcker:

• RNN med PyTorch
• RNN med TensorFlow

Slutsats

I denna enhet har vi sett att RNN kan användas för sekvensklassificering, men de kan faktiskt hantera många fler uppgifter, såsom textgenerering, maskinöversättning och mer. Vi kommer att titta på dessa uppgifter i nästa enhet.

🚀 Utmaning

Läs igenom lite litteratur om LSTM och fundera över deras tillämpningar:

• Grid Long Short-Term Memory
• Show, Attend and Tell: Neural Image Caption Generation with Visual Attention

Quiz efter föreläsning

Granskning & Självstudier

• Understanding LSTM Networks av Christopher Olah.

Uppgift: Anteckningsböcker

---

Ansvarsfriskrivning:
Detta dokument har översatts med hjälp av AI-översättningstjänsten Co-op Translator. Även om vi strävar efter noggrannhet, bör du vara medveten om att automatiserade översättningar kan innehålla fel eller felaktigheter. Det ursprungliga dokumentet på dess originalspråk bör betraktas som den auktoritativa källan. För kritisk information rekommenderas professionell mänsklig översättning. Vi ansvarar inte för eventuella missförstånd eller feltolkningar som uppstår vid användning av denna översättning.