Tích lũy gradient
term_id: gradient_accumulation
Category: training_techniques
Definition
Chiến lược tối ưu hóa này cho phép các mô hình học sâu được huấn luyện với kích thước batch hiệu quả lớn hơn so với dung lượng bộ nhớ GPU hiện có. Bằng cách tích lũy gradient từ nhiều mini-batch và thực hiện cập nhật trọng số sau mỗi vài bước, phương pháp này giúp tiết kiệm bộ nhớ.
Summary
Tích lũy gradient là một kỹ thuật mô phỏng kích thước batch lớn hơn bằng cách cộng dồn các gradient qua nhiều lần truyền xuôi/ngược trước khi cập nhật trọng số.
Key Concepts
- Mô phỏng kích thước batch
- Tối ưu hóa bộ nhớ
- Hạ gradient ngẫu nhiên (SGD)
- Cập nhật trọng số
Use Cases
- Tinh chỉnh các mô hình lớn
- Huấn luyện trên thiết bị có VRAM hạn chế
- Ổn định quá trình hội tụ của hàm mất mát