Cắt (Clip)
term_id: clip
Category: engineering_practice
Definition
Trong kỹ thuật học sâu, cắt thường được áp dụng cho gradient để giảm thiểu vấn đề gradient bùng nổ, đảm bảo quá trình lan truyền ngược ổn định. Nó cũng có thể đề cập đến việc giới hạn các logit đầu ra trước khi
Summary
Cắt là một kỹ thuật được sử dụng để giới hạn độ lớn của các giá trị, chẳng hạn như gradient hoặc xác suất đầu ra, để ngăn ngừa mất ổn định số trong quá trình huấn luyện.
Key Concepts
- Cắt gradient
- Ổn định số học
- Gradient bùng nổ
- Chính quy hóa
Use Cases
- Huấn luyện mạng nơ-ron hồi tiếp
- Ổn định hóa quá trình huấn luyện transformer
- Ngăn ngừa phân kỳ hàm mất mát