AI-For-Beginners/translations/he/lessons/3-NeuralNetworks/04-OwnFramework

מבוא לרשתות נוירונים. פרספטרון רב-שכבתי

בפרק הקודם למדתם על מודל הרשת הנוירונית הפשוט ביותר - פרספטרון חד-שכבתי, מודל סיווג ליניארי לשתי קטגוריות.

בפרק זה נרחיב את המודל למסגרת גמישה יותר, שתאפשר לנו:

• לבצע סיווג רב-קטגוריות בנוסף לסיווג דו-קטגוריות
• לפתור בעיות רגרסיה בנוסף לסיווג
• להפריד בין קטגוריות שאינן ניתנות להפרדה ליניארית

בנוסף, נפתח מסגרת מודולרית משלנו ב-Python שתאפשר לנו לבנות ארכיטקטורות שונות של רשתות נוירונים.

שאלון לפני ההרצאה

פורמליזציה של למידת מכונה

נתחיל בפורמליזציה של בעיית למידת המכונה. נניח שיש לנו קבוצת נתונים לאימון X עם תוויות Y, ואנו צריכים לבנות מודל f שיבצע תחזיות מדויקות ככל האפשר. איכות התחזיות נמדדת באמצעות פונקציית הפסד ℒ. פונקציות הפסד נפוצות כוללות:

• עבור בעיית רגרסיה, כאשר אנו צריכים לחזות מספר, ניתן להשתמש בשגיאה מוחלטת ∑_i|f(x⁽ⁱ⁾)-y⁽ⁱ⁾|, או בשגיאה ריבועית ∑_i(f(x⁽ⁱ⁾)-y⁽ⁱ⁾)²
• עבור סיווג, משתמשים ב0-1 loss (שבעצם זהה לדיוק המודל), או בlogistic loss.

בפרספטרון חד-שכבתי, פונקציה f הוגדרה כפונקציה ליניארית f(x)=wx+b (כאן w הוא מטריצת המשקלים, x הוא וקטור התכונות הקלט, ו-b הוא וקטור ההטיה). בארכיטקטורות שונות של רשתות נוירונים, פונקציה זו יכולה לקבל צורה מורכבת יותר.

במקרה של סיווג, לעיתים קרובות רצוי לקבל הסתברויות של הקטגוריות המתאימות כיציאת הרשת. כדי להמיר מספרים שרירותיים להסתברויות (למשל, לנרמל את היציאה), אנו משתמשים לעיתים קרובות בפונקציית softmax σ, והפונקציה f הופכת ל-f(x)=σ(wx+b)

בהגדרת f לעיל, w ו-b נקראים פרמטרים θ=⟨w,b⟩. בהתחשב בקבוצת הנתונים ⟨X,Y⟩, ניתן לחשב שגיאה כוללת על כל קבוצת הנתונים כפונקציה של הפרמטרים θ.

✅ מטרת אימון הרשת הנוירונית היא למזער את השגיאה על ידי שינוי הפרמטרים θ

אופטימיזציה באמצעות ירידת גרדיאנט

קיים שיטה ידועה לאופטימיזציה של פונקציות הנקראת ירידת גרדיאנט. הרעיון הוא שניתן לחשב נגזרת (במקרה רב-ממדי נקראת גרדיאנט) של פונקציית הפסד ביחס לפרמטרים, ולשנות את הפרמטרים כך שהשגיאה תקטן. ניתן לפרמל זאת כך:

• אתחול הפרמטרים בערכים אקראיים w⁽⁰⁾, b⁽⁰⁾
• חזרה על הצעד הבא פעמים רבות:
  • w⁽ⁱ⁺¹⁾ = w⁽ⁱ⁾-η∂ℒ/∂w
  • b⁽ⁱ⁺¹⁾ = b⁽ⁱ⁾-η∂ℒ/∂b

במהלך האימון, הצעדים האופטימיזציה אמורים להיחשב בהתחשב בכל קבוצת הנתונים (זכרו שהפסד מחושב כסכום על כל דוגמאות האימון). עם זאת, בפועל אנו לוקחים חלקים קטנים מהנתונים הנקראים minibatches, ומחשבים גרדיאנטים על בסיס תת-קבוצה של הנתונים. מכיוון שהתת-קבוצה נלקחת באופן אקראי בכל פעם, שיטה זו נקראת ירידת גרדיאנט סטוכסטית (SGD).

פרספטרונים רב-שכבתיים ובקפרופגציה

רשת חד-שכבתית, כפי שראינו לעיל, מסוגלת לסווג קטגוריות הניתנות להפרדה ליניארית. כדי לבנות מודל עשיר יותר, ניתן לשלב מספר שכבות ברשת. מבחינה מתמטית, זה אומר שהפונקציה f תהיה בעלת צורה מורכבת יותר, ותיחשב במספר שלבים:

• z₁=w₁x+b₁
• z₂=w₂α(z₁)+b₂
• f = σ(z₂)

כאן, α היא פונקציית הפעלה לא ליניארית, σ היא פונקציית softmax, והפרמטרים הם θ=<w₁,b₁,w₂,b₂>.

אלגוריתם ירידת הגרדיאנט יישאר זהה, אך יהיה קשה יותר לחשב גרדיאנטים. בהתחשב בכלל השרשרת של נגזרות, ניתן לחשב נגזרות כך:

• ∂ℒ/∂w₂ = (∂ℒ/∂σ)(∂σ/∂z₂)(∂z₂/∂w₂)
• ∂ℒ/∂w₁ = (∂ℒ/∂σ)(∂σ/∂z₂)(∂z₂/∂α)(∂α/∂z₁)(∂z₁/∂w₁)

✅ כלל השרשרת של נגזרות משמש לחישוב נגזרות של פונקציית הפסד ביחס לפרמטרים.

שימו לב שהחלק השמאלי ביותר של כל הביטויים הללו זהה, ולכן ניתן לחשב נגזרות בצורה יעילה על ידי התחלה מפונקציית הפסד והתקדמות "אחורה" דרך גרף החישוב. לכן שיטת האימון של פרספטרון רב-שכבתי נקראת בקפרופגציה, או 'backprop'.

TODO: ציון מקור התמונה

✅ נעסוק בבקפרופגציה בפירוט רב יותר בדוגמה במחברת שלנו.

סיכום

בשיעור זה, בנינו ספריית רשתות נוירונים משלנו, והשתמשנו בה למשימת סיווג דו-ממדית פשוטה.

🚀 אתגר

במחברת המצורפת, תבנו ותאמנו מסגרת משלכם לבניית פרספטרונים רב-שכבתיים. תוכלו לראות בפירוט כיצד רשתות נוירונים מודרניות פועלות.

עברו למחברת OwnFramework ועבדו עליה.

שאלון אחרי ההרצאה

סקירה ולימוד עצמי

בקפרופגציה היא אלגוריתם נפוץ ב-AI ו-ML, שכדאי ללמוד בפירוט רב יותר

מטלה

במעבדה זו, תתבקשו להשתמש במסגרת שבניתם בשיעור זה כדי לפתור את משימת סיווג הספרות בכתב יד של MNIST.

• הוראות
• מחברת

---