Ομαλοποίηση Ομάδας

term_id: batch_normalization

Category: basic_concepts

Definition

Αυτή η μέθοδος προσαρμόζει και κλιμακώνει τις ενεργοποιήσεις ώστε να έχουν μηδενική μέση τιμή και μοναδιαία διακύμανση εντός κάθε μικρής ομάδας κατά την εκπαίδευση. Μειώνει τη μετατόπιση εσωτερικής συνδιακύμανσης, επιτρέποντας υψηλότερους ρυθμούς μάθησης και ταχύτερη σύγκλιση.

Summary

Η ομαλοποίηση ομάδας είναι μια τεχνική που κανονικοποιεί τις εισόδους ενός στρώματος σε όλη τη μικρή ομάδα για να σταθεροποιήσει και να επιταχύνει την εκπαίδευση του νευρωνικού δικτύου.

Key Concepts

  • Μετατόπιση εσωτερικής συνδιακύμανσης
  • Στατιστικά μικρής ομάδας
  • Σταθεροποίηση κλίσης
  • Επίδραση κανονικοποίησης

Use Cases

  • Βαθιά Νευρωνικά Δίκτυα
  • Συνελικτικά Νευρωνικά Δίκτυα
  • Βελτιστοποίηση εκπαίδευσης

Code Example

1
2
3
4
5
6

import torch.nn as nn
layer = nn.Sequential(
    nn.Linear(10, 20),
    nn.BatchNorm1d(20),
    nn.ReLU()
)

Related