Kích thước lô
term_id: batch_size
Category: training_techniques
Definition
Kích thước lô là một siêu tham số quan trọng xác định có bao nhiêu mẫu được xử lý trước khi các tham số bên trong của mô hình được cập nhật. Kích thước lô lớn hơn cung cấp ước tính chính xác hơn về gradient trung bình.
Summary
Số lượng ví dụ huấn luyện được sử dụng trong một lần lặp của thuật toán descent gradient ngẫu nhiên.
Key Concepts
- Ước lượng gradient
- Ràng buộc bộ nhớ
- Sự ổn hội tụ
- Điều chỉnh siêu tham số
Use Cases
- Điều chỉnh tốc độ hội tụ của mô hình
- Quản lý giới hạn bộ nhớ GPU trong quá trình huấn luyện
- Cải thiện khả năng tổng quát hóa thông qua gradient nhiễu