Dropout

term_id: dropout

Category: basic_concepts

Definition

Στα νευρωνικά δίκτυα, το dropout αποτρέπει την υπερπροσαρμογή αφαιρώντας προσωρινά ένα τυχαίο υποσύνολο νευρώνων σε κάθε βήμα εκπαίδευσης. Αυτό αναγκάζει το δίκτυο να μάθει ισχυρά χαρακτηριστικά που είναι χρήσιμα σε συνεργασία με άλλα χαρακτηριστικά, αντί να εξαρτάται υπερβολικά από συγκεκριμένους νευρώνες.

Summary

Το Dropout είναι μια τεχνική κανονικοποίησης που αγνοεί τυχαία νευρώνες κατά την εκπαίδευση για την πρόληψη της υπερπροσαρμογής.

Key Concepts

  • Κανονικοποίηση
  • Πρόληψη Υπερπροσαρμογής
  • Νευρωνικά Δίκτυα
  • Τυχαία Καταστολή

Use Cases

  • Εκπαίδευση βαθιών feedforward νευρωνικών δικτύων
  • Βελτίωση της γενίκευσης σε μεγάλα γλωσσικά μοντέλα
  • Μείωση της υπολογιστικής εξάρτησης από συγκεκριμένες διαδρομές νευρώνων

Code Example

1
2
3
4
5
6
7

import torch.nn as nn
model = nn.Sequential(
    nn.Linear(100, 50),
    nn.Dropout(0.5),
    nn.ReLU(),
    nn.Linear(50, 10)
)

Related