Chuẩn hóa theo lô (Batch Normalization)

term_id: batch_normalization

Category: basic_concepts

Definition

Phương pháp này điều chỉnh và mở rộng các kích hoạt để có trung bình bằng không và phương sai bằng một trong mỗi mini-batch trong quá trình huấn luyện. Nó giảm thiểu sự dịch chuyển hiệp phương sai nội tại, cho phép sử dụng tốc độ học cao hơn và nhanh

Summary

Chuẩn hóa theo lô là một kỹ thuật chuẩn hóa đầu vào của lớp trên một mini-batch để ổn định và tăng tốc quá trình huấn luyện mạng nơ-ron.

Key Concepts

  • Dịch chuyển hiệp phương sai nội tại
  • Thống kê mini-batch
  • Ổn định gradient
  • Hiệu ứng chính quy hóa

Use Cases

  • Mạng nơ-ron sâu
  • Mạng nơ-ron tích chập
  • Tối ưu hóa huấn luyện

Code Example

1
2
3
4
5
6

import torch.nn as nn
layer = nn.Sequential(
    nn.Linear(10, 20),
    nn.BatchNorm1d(20),
    nn.ReLU()
)

Related