Dropout

term_id: dropout

Category: basic_concepts

Definition

Trong mạng nơ-ron, dropout ngăn ngừa quá khớp bằng cách tạm thời loại bỏ một tập hợp con ngẫu nhiên các nơ-ron trong mỗi bước huấn luyện. Điều này buộc mạng phải học các đặc trưng mạnh mẽ có ích khi kết hợp với các nơ-ron khác.

Summary

Dropout là một kỹ thuật chính quy hóa ngẫu nhiên bỏ qua các nơ-ron trong quá trình huấn luyện để ngăn ngừa hiện tượng quá khớp (overfitting).

Key Concepts

  • Chính quy hóa (Regularization)
  • Ngăn ngừa quá khớp
  • Mạng nơ-ron
  • Ức chế ngẫu nhiên

Use Cases

  • Huấn luyện các mạng nơ-ron truyền thẳng sâu
  • Cải thiện khả năng tổng quát hóa trong các mô hình ngôn ngữ lớn
  • Giảm sự phụ thuộc tính toán vào các đường dẫn nơ-ron cụ thể

Code Example

1
2
3
4
5
6
7

import torch.nn as nn
model = nn.Sequential(
    nn.Linear(100, 50),
    nn.Dropout(0.5),
    nn.ReLU(),
    nn.Linear(50, 10)
)

Related