AI-For-Beginners/translations/kn/lessons/3-NeuralNetworks/04-OwnFramework

ನ್ಯೂರಲ್ ನೆಟ್‌ವರ್ಕ್‌ಗಳಿಗೆ ಪರಿಚಯ. ಬಹು-ಪರತೆಯ ಪರ್ಸೆಪ್ಟ್ರಾನ್

ಹಿಂದಿನ ವಿಭಾಗದಲ್ಲಿ, ನೀವು ಅತ್ಯಂತ ಸರಳ ನ್ಯೂರಲ್ ನೆಟ್‌ವರ್ಕ್ ಮಾದರಿ - ಒಂದು-ಪರತೆಯ ಪರ್ಸೆಪ್ಟ್ರಾನ್, ಒಂದು ರೇಖೀಯ ಎರಡು ವರ್ಗದ ವರ್ಗೀಕರಣ ಮಾದರಿಯನ್ನು ಕಲಿತಿದ್ದೀರಿ.

ಈ ವಿಭಾಗದಲ್ಲಿ ನಾವು ಈ ಮಾದರಿಯನ್ನು ಹೆಚ್ಚು ಲವಚಿಕವಾದ ರೂಪಕ್ಕೆ ವಿಸ್ತರಿಸುವೆವು, ಇದರಿಂದ ನಾವು:

• ಎರಡು ವರ್ಗದ ಜೊತೆಗೆ ಬಹು-ವರ್ಗ ವರ್ಗೀಕರಣ ಮಾಡಬಹುದು
• ವರ್ಗೀಕರಣದ ಜೊತೆಗೆ ರೆಗ್ರೆಷನ್ ಸಮಸ್ಯೆಗಳನ್ನು ಪರಿಹರಿಸಬಹುದು
• ರೇಖೀಯವಾಗಿ ವಿಭಜಿಸಲಾಗದ ವರ್ಗಗಳನ್ನು ವಿಭಜಿಸಬಹುದು

ನಾವು ಪೈಥಾನ್‌ನಲ್ಲಿ ನಮ್ಮದೇ ಮಾಯಾಜಾಲ ರೂಪರೇಖೆಯನ್ನು ಅಭಿವೃದ್ಧಿಪಡಿಸುವೆವು, ಇದು ವಿವಿಧ ನ್ಯೂರಲ್ ನೆಟ್‌ವರ್ಕ್ ವಾಸ್ತುಶಿಲ್ಪಗಳನ್ನು ರಚಿಸಲು ಸಹಾಯ ಮಾಡುತ್ತದೆ.

ಪೂರ್ವ-ವ್ಯಾಖ್ಯಾನ ಕ್ವಿಜ್

ಯಂತ್ರ ಅಧ್ಯಯನದ ರೂಪೀಕರಣ

ಯಂತ್ರ ಅಧ್ಯಯನ ಸಮಸ್ಯೆಯನ್ನು ರೂಪೀಕರಿಸುವುದರಿಂದ ಪ್ರಾರಂಭಿಸೋಣ. ನಮಗೆ ತರಬೇತಿ ಡೇಟಾಸೆಟ್ X ಮತ್ತು ಲೇಬಲ್ಗಳಾದ Y ಇದ್ದರೆ, ನಾವು ಅತ್ಯಂತ ನಿಖರವಾದ ಭವಿಷ್ಯವಾಣಿಗಳನ್ನು ಮಾಡುವ ಮಾದರಿ f ರಚಿಸಬೇಕಾಗುತ್ತದೆ. ಭವಿಷ್ಯವಾಣಿಗಳ ಗುಣಮಟ್ಟವನ್ನು ಲಾಸ್ ಫಂಕ್ಷನ್ ℒ ಮೂಲಕ ಅಳೆಯಲಾಗುತ್ತದೆ. ಕೆಳಗಿನ ಲಾಸ್ ಫಂಕ್ಷನ್‌ಗಳು ಸಾಮಾನ್ಯವಾಗಿ ಬಳಸಲಾಗುತ್ತವೆ:

• ರೆಗ್ರೆಷನ್ ಸಮಸ್ಯೆಗೆ, ಸಂಖ್ಯೆಯನ್ನು ಭವಿಷ್ಯವಾಣಿ ಮಾಡಬೇಕಾದಾಗ, ನಾವು ಅಬ್ಸೊಲ್ಯೂಟ್ ಎರರ್ ∑_i|f(x⁽ⁱ⁾)-y⁽ⁱ⁾| ಅಥವಾ ಸ್ಕ್ವೇರ್ಡ್ ಎರರ್ ∑_i(f(x⁽ⁱ⁾)-y⁽ⁱ⁾)² ಬಳಸಬಹುದು
• ವರ್ಗೀಕರಣಕ್ಕೆ, ನಾವು 0-1 ಲಾಸ್ (ಮೂಲತಃ ಮಾದರಿಯ ನಿಖರತೆಗೆ ಸಮಾನ) ಅಥವಾ ಲಾಜಿಸ್ಟಿಕ್ ಲಾಸ್ ಬಳಸುತ್ತೇವೆ.

ಒಂದು-ಪರತೆಯ ಪರ್ಸೆಪ್ಟ್ರಾನ್‌ನಲ್ಲಿ, f ಅನ್ನು ರೇಖೀಯ ಫಂಕ್ಷನ್ f(x)=wx+b ಎಂದು ವ್ಯಾಖ್ಯಾನಿಸಲಾಗಿತ್ತು (ಇಲ್ಲಿ w ತೂಕ ಮ್ಯಾಟ್ರಿಕ್ಸ್, x ಇನ್‌ಪುಟ್ ವೈಶಿಷ್ಟ್ಯಗಳ ವೆಕ್ಟರ್, ಮತ್ತು b ಬಯಾಸ್ ವೆಕ್ಟರ್). ವಿಭಿನ್ನ ನ್ಯೂರಲ್ ನೆಟ್‌ವರ್ಕ್ ವಾಸ್ತುಶಿಲ್ಪಗಳಿಗೆ, ಈ ಫಂಕ್ಷನ್ ಹೆಚ್ಚು ಸಂಕೀರ್ಣ ರೂಪವನ್ನು ಪಡೆಯಬಹುದು.

ವರ್ಗೀಕರಣದ ಸಂದರ್ಭದಲ್ಲಿ, ಸಂಬಂಧಿತ ವರ್ಗಗಳ ಪ್ರಾಬಬಿಲಿಟಿಗಳನ್ನು ನೆಟ್‌ವರ್ಕ್ ಔಟ್‌ಪುಟ್ ಆಗಿ ಪಡೆಯುವುದು ಇಚ್ಛನೀಯವಾಗಿರುತ್ತದೆ. ಯಾವುದೇ ಸಂಖ್ಯೆಯನ್ನು ಪ್ರಾಬಬಿಲಿಟಿಗಳಾಗಿ ಪರಿವರ್ತಿಸಲು (ಉದಾ. ಔಟ್‌ಪುಟ್ ಅನ್ನು ನಾರ್ಮಲೈಸ್ ಮಾಡಲು), ನಾವು ಸಾಮಾನ್ಯವಾಗಿ ಸಾಫ್ಟ್‌ಮ್ಯಾಕ್ಸ್ ಫಂಕ್ಷನ್ σ ಬಳಸುತ್ತೇವೆ, ಮತ್ತು ಫಂಕ್ಷನ್ f ಆಗುತ್ತದೆ f(x)=σ(wx+b)

ಮೇಲಿನ f ವ್ಯಾಖ್ಯಾನದಲ್ಲಿ, w ಮತ್ತು b ಅನ್ನು ಪ್ಯಾರಾಮೀಟರ್‌ಗಳು θ=⟨w,b⟩ ಎಂದು ಕರೆಯಲಾಗುತ್ತದೆ. ಡೇಟಾಸೆಟ್ ⟨X,Y⟩ ನೀಡಿದಾಗ, ನಾವು ಪ್ಯಾರಾಮೀಟರ್‌ಗಳ ಆಧಾರದ ಮೇಲೆ ಸಂಪೂರ್ಣ ಡೇಟಾಸೆಟ್ ಮೇಲೆ ಒಟ್ಟು ದೋಷವನ್ನು ಲೆಕ್ಕಿಸಬಹುದು.

✅ ನ್ಯೂರಲ್ ನೆಟ್‌ವರ್ಕ್ ತರಬೇತಿಯ ಗುರಿ ದೋಷವನ್ನು ಕಡಿಮೆ ಮಾಡುವುದು, ಪ್ಯಾರಾಮೀಟರ್‌ಗಳನ್ನು ಬದಲಾಯಿಸುವ ಮೂಲಕ

ಗ್ರೇಡಿಯಂಟ್ ಡಿಸೆಂಟ್ ಆಪ್ಟಿಮೈಜೆಷನ್

ಫಂಕ್ಷನ್ ಆಪ್ಟಿಮೈಜೆಷನ್‌ಗೆ ಪ್ರಸಿದ್ಧ ವಿಧಾನವೆಂದರೆ ಗ್ರೇಡಿಯಂಟ್ ಡಿಸೆಂಟ್. ಆಲೋಚನೆ ಎಂದರೆ, ನಾವು ಲಾಸ್ ಫಂಕ್ಷನ್‌ನ ಡೆರಿವೇಟಿವ್ (ಬಹು-ಮಾನದ ಪ್ರಕರಣದಲ್ಲಿ ಗ್ರೇಡಿಯಂಟ್) ಅನ್ನು ಪ್ಯಾರಾಮೀಟರ್‌ಗಳ ಪ್ರಕಾರ ಲೆಕ್ಕಿಸಿ, ದೋಷ ಕಡಿಮೆಯಾಗುವಂತೆ ಪ್ಯಾರಾಮೀಟರ್‌ಗಳನ್ನು ಬದಲಾಯಿಸಬಹುದು. ಇದನ್ನು ಹೀಗೆ ರೂಪಿಸಬಹುದು:

• ಪ್ಯಾರಾಮೀಟರ್‌ಗಳನ್ನು ಕೆಲವು ಯಾದೃಚ್ಛಿಕ ಮೌಲ್ಯಗಳಿಂದ ಪ್ರಾರಂಭಿಸಿ w⁽⁰⁾, b⁽⁰⁾
• ಕೆಳಗಿನ ಹಂತವನ್ನು ಅನೇಕ ಬಾರಿ ಪುನರಾವರ್ತಿಸಿ:
  • w⁽ⁱ⁺¹⁾ = w⁽ⁱ⁾-η∂ℒ/∂w
  • b⁽ⁱ⁺¹⁾ = b⁽ⁱ⁾-η∂ℒ/∂b

ತರಬೇತಿಯ ಸಮಯದಲ್ಲಿ, ಆಪ್ಟಿಮೈಜೆಷನ್ ಹಂತಗಳನ್ನು ಸಂಪೂರ್ಣ ಡೇಟಾಸೆಟ್ ಪರಿಗಣಿಸಿ ಲೆಕ್ಕಿಸಬೇಕು (ಲಾಸ್ ಎಲ್ಲಾ ತರಬೇತಿ ಮಾದರಿಗಳ ಮೊತ್ತವಾಗಿ ಲೆಕ್ಕಿಸಲಾಗುತ್ತದೆ). ಆದರೆ ನಿಜ ಜೀವನದಲ್ಲಿ ನಾವು ಡೇಟಾಸೆಟ್‌ನ ಸಣ್ಣ ಭಾಗಗಳನ್ನು ಮಿನಿಬ್ಯಾಚ್‌ಗಳು ಎಂದು ತೆಗೆದು, ಆ ಭಾಗದ ಆಧಾರದ ಮೇಲೆ ಗ್ರೇಡಿಯಂಟ್‌ಗಳನ್ನು ಲೆಕ್ಕಿಸುತ್ತೇವೆ. ಪ್ರತಿಯೊಂದು ಬಾರಿ ಯಾದೃಚ್ಛಿಕವಾಗಿ ಭಾಗವನ್ನು ತೆಗೆದುಕೊಳ್ಳುವುದರಿಂದ, ಈ ವಿಧಾನವನ್ನು ಸ್ಟೋಚಾಸ್ಟಿಕ್ ಗ್ರೇಡಿಯಂಟ್ ಡಿಸೆಂಟ್ (SGD) ಎಂದು ಕರೆಯುತ್ತಾರೆ.

ಬಹು-ಪರತೆಯ ಪರ್ಸೆಪ್ಟ್ರಾನ್‌ಗಳು ಮತ್ತು ಬ್ಯಾಕ್‌ಪ್ರೊಪಾಗೇಶನ್

ಒಂದು-ಪರತೆಯ ನೆಟ್‌ವರ್ಕ್, ಮೇಲಿನಂತೆ, ರೇಖೀಯವಾಗಿ ವಿಭಜಿಸಬಹುದಾದ ವರ್ಗಗಳನ್ನು ವರ್ಗೀಕರಿಸಲು ಸಾಧ್ಯ. ಹೆಚ್ಚು ಸಮೃದ್ಧ ಮಾದರಿಯನ್ನು ನಿರ್ಮಿಸಲು, ನಾವು ನೆಟ್‌ವರ್ಕ್‌ನ ಹಲವು ಪರತಿಗಳನ್ನು ಸಂಯೋಜಿಸಬಹುದು. ಗಣಿತಶಾಸ್ತ್ರೀಯವಾಗಿ, ಇದು ಅರ್ಥವಾಗುತ್ತದೆ f ಫಂಕ್ಷನ್ ಹೆಚ್ಚು ಸಂಕೀರ್ಣ ರೂಪ ಹೊಂದಿದ್ದು, ಹಲವಾರು ಹಂತಗಳಲ್ಲಿ ಲೆಕ್ಕಿಸಲಾಗುತ್ತದೆ:

• z₁=w₁x+b₁
• z₂=w₂α(z₁)+b₂
• f = σ(z₂)

ಇಲ್ಲಿ, α ಒಂದು ಅರೇಖೀಯ ಸಕ್ರಿಯತೆ ಫಂಕ್ಷನ್, σ ಸಾಫ್ಟ್‌ಮ್ಯಾಕ್ಸ್ ಫಂಕ್ಷನ್, ಮತ್ತು ಪ್ಯಾರಾಮೀಟರ್‌ಗಳು θ=<w₁,b₁,w₂,b₂>.

ಗ್ರೇಡಿಯಂಟ್ ಡಿಸೆಂಟ್ ಆಲ್ಗಾರಿಥಮ್ ಅದೇ ಆಗಿರುತ್ತದೆ, ಆದರೆ ಗ್ರೇಡಿಯಂಟ್‌ಗಳನ್ನು ಲೆಕ್ಕಿಸುವುದು ಕಷ್ಟಕರವಾಗುತ್ತದೆ. ಚೈನ್ ವ್ಯುತ್ಪನ್ನ ನಿಯಮವನ್ನು ಅನುಸರಿಸಿ, ಡೆರಿವೇಟಿವ್‌ಗಳನ್ನು ಹೀಗೆ ಲೆಕ್ಕಿಸಬಹುದು:

• ∂ℒ/∂w₂ = (∂ℒ/∂σ)(∂σ/∂z₂)(∂z₂/∂w₂)
• ∂ℒ/∂w₁ = (∂ℒ/∂σ)(∂σ/∂z₂)(∂z₂/∂α)(∂α/∂z₁)(∂z₁/∂w₁)

✅ ಚೈನ್ ವ್ಯುತ್ಪನ್ನ ನಿಯಮವನ್ನು ಬಳಸಿ ಲಾಸ್ ಫಂಕ್ಷನ್‌ನ ಡೆರಿವೇಟಿವ್‌ಗಳನ್ನು ಪ್ಯಾರಾಮೀಟರ್‌ಗಳ ಪ್ರಕಾರ ಲೆಕ್ಕಿಸಲಾಗುತ್ತದೆ.

ಎಲ್ಲಾ ಅಭಿವ್ಯಕ್ತಿಗಳ ಎಡಭಾಗವು ಒಂದೇ ಆಗಿರುವುದರಿಂದ, ನಾವು ಲಾಸ್ ಫಂಕ್ಷನ್‌ನಿಂದ ಪ್ರಾರಂಭಿಸಿ ಗಣನಾತ್ಮಕ ಗ್ರಾಫ್ ಮೂಲಕ "ಹಿಂದಕ್ಕೆ" ಹೋಗಿ ಡೆರಿವೇಟಿವ್‌ಗಳನ್ನು ಪರಿಣಾಮಕಾರಿಯಾಗಿ ಲೆಕ್ಕಿಸಬಹುದು. ಆದ್ದರಿಂದ ಬಹು-ಪರತೆಯ ಪರ್ಸೆಪ್ಟ್ರಾನ್ ತರಬೇತಿಯ ವಿಧಾನವನ್ನು ಬ್ಯಾಕ್‌ಪ್ರೊಪಾಗೇಶನ್ ಅಥವಾ 'ಬ್ಯಾಕ್‌ಪ್ರೊಪ್' ಎಂದು ಕರೆಯುತ್ತಾರೆ.

TODO: ಚಿತ್ರ ಉಲ್ಲೇಖ

✅ ನಾವು ನಮ್ಮ ನೋಟ್ಬುಕ್ ಉದಾಹರಣೆಯಲ್ಲಿ ಬ್ಯಾಕ್‌ಪ್ರೊಪ್ ಅನ್ನು ಹೆಚ್ಚಿನ ವಿವರದಲ್ಲಿ ಚರ್ಚಿಸುವೆವು.

ಸಾರಾಂಶ

ಈ ಪಾಠದಲ್ಲಿ, ನಾವು ನಮ್ಮದೇ ನ್ಯೂರಲ್ ನೆಟ್‌ವರ್ಕ್ ಲೈಬ್ರರಿಯನ್ನು ನಿರ್ಮಿಸಿದ್ದೇವೆ ಮತ್ತು ಅದನ್ನು ಸರಳ ಎರಡು-ಮಾನದ ವರ್ಗೀಕರಣ ಕಾರ್ಯಕ್ಕೆ ಬಳಸಿದ್ದೇವೆ.

🚀 ಸವಾಲು

ಸಹಾಯಕ ನೋಟ್ಬುಕ್‌ನಲ್ಲಿ, ನೀವು ಬಹು-ಪರತೆಯ ಪರ್ಸೆಪ್ಟ್ರಾನ್‌ಗಳನ್ನು ನಿರ್ಮಿಸುವ ಮತ್ತು ತರಬೇತಿಸುವ ನಿಮ್ಮದೇ ರೂಪರೇಖೆಯನ್ನು ಜಾರಿಗೆ ತರಲಿದ್ದೀರಿ. ನೀವು ಆಧುನಿಕ ನ್ಯೂರಲ್ ನೆಟ್‌ವರ್ಕ್‌ಗಳು ಹೇಗೆ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತವೆ ಎಂಬುದನ್ನು ವಿವರವಾಗಿ ನೋಡಬಹುದು.

OwnFramework ನೋಟ್ಬುಕ್‌ಗೆ ಹೋಗಿ ಅದನ್ನು ಅನುಸರಿಸಿ.

ಪೋಸ್ಟ್-ವ್ಯಾಖ್ಯಾನ ಕ್ವಿಜ್

ವಿಮರ್ಶೆ ಮತ್ತು ಸ್ವಯಂ ಅಧ್ಯಯನ

ಬ್ಯಾಕ್‌ಪ್ರೊಪಾಗೇಶನ್ AI ಮತ್ತು ML ನಲ್ಲಿ ಸಾಮಾನ್ಯವಾಗಿ ಬಳಸುವ ಆಲ್ಗಾರಿಥಮ್, ಇದನ್ನು ಹೆಚ್ಚು ವಿವರವಾಗಿ ಅಧ್ಯಯನ ಮಾಡುವುದು ಲಾಭದಾಯಕ.

ಅಸೈನ್‌ಮೆಂಟ್

ಈ ಪ್ರಯೋಗಶಾಲೆಯಲ್ಲಿ, ನೀವು ಈ ಪಾಠದಲ್ಲಿ ನಿರ್ಮಿಸಿದ ರೂಪರೇಖೆಯನ್ನು ಬಳಸಿಕೊಂಡು MNIST ಕೈಯಿಂದ ಬರೆದ ಅಂಕಿ ವರ್ಗೀಕರಣವನ್ನು ಪರಿಹರಿಸುವಂತೆ ಕೇಳಲಾಗುತ್ತದೆ.

• ಸೂಚನೆಗಳು
• ನೋಟ್ಬುಕ್

---

ಅಸ್ವೀಕರಣ:
ಈ ದಸ್ತಾವೇಜು AI ಅನುವಾದ ಸೇವೆ Co-op Translator ಬಳಸಿ ಅನುವಾದಿಸಲಾಗಿದೆ. ನಾವು ನಿಖರತೆಯಿಗಾಗಿ ಪ್ರಯತ್ನಿಸುತ್ತಿದ್ದರೂ, ಸ್ವಯಂಚಾಲಿತ ಅನುವಾದಗಳಲ್ಲಿ ದೋಷಗಳು ಅಥವಾ ಅಸತ್ಯತೆಗಳು ಇರಬಹುದು ಎಂದು ದಯವಿಟ್ಟು ಗಮನಿಸಿ. ಮೂಲ ಭಾಷೆಯಲ್ಲಿರುವ ಮೂಲ ದಸ್ತಾವೇಜನ್ನು ಅಧಿಕೃತ ಮೂಲವೆಂದು ಪರಿಗಣಿಸಬೇಕು. ಮಹತ್ವದ ಮಾಹಿತಿಗಾಗಿ, ವೃತ್ತಿಪರ ಮಾನವ ಅನುವಾದವನ್ನು ಶಿಫಾರಸು ಮಾಡಲಾಗುತ್ತದೆ. ಈ ಅನುವಾದ ಬಳಕೆಯಿಂದ ಉಂಟಾಗುವ ಯಾವುದೇ ತಪ್ಪು ಅರ್ಥಮಾಡಿಕೊಳ್ಳುವಿಕೆ ಅಥವಾ ತಪ್ಪು ವಿವರಣೆಗಳಿಗೆ ನಾವು ಹೊಣೆಗಾರರಾಗುವುದಿಲ್ಲ.