Chính quy hóa

term_id: regularization

Category: basic_concepts

Definition

Chính quy hóa là một khái niệm quan trọng trong học máy nhằm giảm thiểu lỗi tổng quát hóa mà không làm tăng đáng kể lỗi huấn luyện. Nó hoạt động bằng cách khuyến khích mô hình tránh việc học các mẫu quá phức tạp hoặc nhiễu trong dữ liệu huấn luyện.

Summary

Một tập hợp các kỹ thuật được sử dụng trong quá trình huấn luyện để ngăn chặn hiện tượng quá khớp bằng cách thêm các hình phạt vào hàm mất mát hoặc hạn chế độ phức tạp của mô hình.

Key Concepts

  • Quá khớp
  • Sự đánh đổi giữa sai số thiên vị và phương sai
  • Hình phạt L1/L2
  • Dropout (Ngắt ngẫu nhiên)

Use Cases

  • Huấn luyện mạng nơ-ron sâu
  • Các mô hình hồi quy tuyến tính
  • Ngăn ngừa hiện tượng ghi nhớ máy học trên các tập dữ liệu nhỏ

Code Example

1
2

from sklearn.linear_model import Ridge
model = Ridge(alpha=1.0)

Related