רשת כביש מהיר
term_id: highway_network
Category: basic_concepts
Definition
רשתות כביש מהיר (Highway Networks) נועדו להתמודד עם בעיית הגרדיאנט הדועך למידה עמוקה על ידי שילוב שערים אדפטיביים השולטים בזרימת המידע. בדומה לתאי LSTM, שערים אלו מאפשרים לרשת ללמוד איזה חלק מהמידע להעביר הלאה ואיזה חלק לסנן, מה שמאמן רשתות עמוקות בהרבה מבעבר.
Summary
ארכיטקטורה של רשת נוירונים עמוקה המכניסה מנגנוני שערים כדי להקל על זרימת הגרדיאנטים ברשתות עמוקות מאוד.
Key Concepts
- מנגנון שערים (Gating Mechanism)
- גרדיאנט דועך (Vanishing Gradient)
- למידה עמוקה (Deep Learning)
- זרימת מידע (Information Flow)
Use Cases
- רשתות נוירונים עמוקות
- הכרת דיבור
- ראייה ממוחשבת