Chuẩn hóa lớp

term_id: layer_normalization

Category: basic_concepts

Definition

Chuẩn hóa lớp ổn định quá trình huấn luyện bằng cách giảm thiểu sự dịch chuyển hiệp phương sai nội bộ, đặc biệt hiệu quả trong kiến trúc hồi quy và transformer. Khác với Chuẩn hóa_batch, phụ thuộc vào thống kê theo batch.

Summary

Một kỹ thuật chuẩn hóa các kích hoạt của một lớp mạng nơ-ron trên chiều đặc trưng cho từng mẫu riêng lẻ.

Key Concepts

  • Chuẩn hóa
  • Dịch chuyển hiệp phương sai nội bộ
  • Mô hình Transformer
  • Mạng nơ-ron hồi quy (RNNs)

Use Cases

  • Huấn luyện các mô hình Transformer như BERT
  • Ổn định quá trình huấn luyện RNN/LSTM
  • Học sâu với kích thước batch nhỏ

Code Example

1
2

import torch.nn as nn
norm_layer = nn.LayerNorm(normalized_shape=[768])

Related