Dropout

term_id: dropout

Category: basic_concepts

Definition

ברשתות נוירונים, Dropout מונע התאמת יתר על ידי הסרה זמנית של תת-קבוצה אקראית של נוירונים בכל צעד אימון. פעולה זו מכריחה את הרשת ללמוד תכונות חזקות ששימושיות בשילוב עם שאר הרשת.

Summary

Dropout הוא טכניקת רגולריזציה המתעלמת באופן אקראי מנוירונים במהלך האימון כדי למנוע התאמת יתר.

Key Concepts

  • רגולריזציה (Regularization)
  • מניעת התאמת יתר (Overfitting Prevention)
  • רשתות נוירונים (Neural Networks)
  • דיכוי אקראי (Random Suppression)

Use Cases

  • אימון רשתות נוירונים עמוקות ורציפות (feedforward)
  • שיפור הכללה (generalization) במודלי שפה גדולים
  • הפחתת התלות החישובית במסלולי נוירונים ספציפיים

Code Example

1
2
3
4
5
6
7

import torch.nn as nn
model = nn.Sequential(
    nn.Linear(100, 50),
    nn.Dropout(0.5),
    nn.ReLU(),
    nn.Linear(50, 10)
)

Related