Phân kỳ
term_id: divergence
Category: basic_concepts
Definition
Trong bối cảnh tối ưu hóa, phân kỳ xảy ra khi các tham số của mô hình cập nhật theo cách khiến hàm mất mát tăng lên thay vì giảm xuống, thường dẫn đến các giá trị NaN (không phải số) hoặc gradient vô hạn. Điều này thường do tốc độ học quá cao hoặc các vấn đề về độ chính xác số.
Summary
Phân kỳ đề cập đến tình trạng hàm mất mát của thuật toán học máy không giảm trong quá trình huấn luyện, dẫn đến hiệu suất không ổn định hoặc suy giảm.
Key Concepts
- Bùng nổ mất mát (Loss Explosion)
- Độ nhạy tốc độ học
- Mất ổn định gradient
- Độ chính xác số
Use Cases
- Gỡ lỗi các vòng huấn luyện trong các khung học sâu
- Điều chỉnh siêu tham số để đảm bảo hội tụ ổn định
- Triển khai các chiến lược cắt tỉa gradient (gradient clipping)