Κανονικοποίηση Στρώματος

term_id: layer_normalization

Category: basic_concepts

Definition

Η Κανονικοποίηση Στρώματος σταθεροποιεί την εκπαίδευση μειώνοντας τη μετατόπιση εσωτερικού συσχετισμού, ιδιαίτερα αποτελεσματική σε αρχιτεκτονικές επαναλαμβανόμενων (RNN) και μετασχηματιστών (Transformers). Σε αντίθεση με την Κανονικοποίηση Παρτίδας, η οποία εξαρτάται από στατιστικά παρτίδας, αυτή λειτουργεί ανεξάρτητα από το μέγεθος της παρτίδας.

Summary

Μια τεχνική που κανονικοποιεί τις ενεργοποιήσεις μιας νευρωνικής στρώσης κατά μήκος της διάστασης των χαρακτηριστικών για κάθε μεμονωμένο δείγμα.

Key Concepts

  • Κανονικοποίηση
  • Μετατόπιση Εσωτερικού Συσχετισμού
  • Μοντέλα Transformer
  • Επαναλαμβανόμενα Νευρωνικά Δίκτυα (RNN)

Use Cases

  • Εκπαίδευση μοντέλων Transformer όπως το BERT
  • Σταθεροποίηση εκπαίδευσης RNN/LSTM
  • Βαθιά μάθηση με μικρά μεγέθη παρτίδας

Code Example

1
2

import torch.nn as nn
norm_layer = nn.LayerNorm(normalized_shape=[768])

Related