Siêu tham số

Definition

Khác với các tham số mô hình (như trọng số và độ lệch) được học từ dữ liệu trong quá trình huấn luyện, siêu tham số là các cài đặt bên ngoài do nhà nghiên cứu chọn trước khi bắt đầu huấn luyện. Chúng kiểm soát cấu trúc mô hình, tốc độ học và các quy tắc chính quy hóa, đóng vai trò then chốt trong việc xác định hiệu suất cuối cùng của mô hình.

Summary

Một biến cấu hình có giá trị được thiết lập trước khi quá trình huấn luyện và chi phối hành vi của thuật toán học.

Key Concepts

• Tốc độ học (Learning Rate)
• Kích thước lô (Batch Size)
• Kiến trúc mô hình
• Chính quy hóa (Regularization)

Use Cases

• Cấu hình huấn luyện mạng nơ-ron
• Thiết lập các bước xuống gradient
• Xác định độ sâu cây trong rừng ngẫu nhiên

Related Terms

• hyperparameter_tuning (điều chỉnh siêu tham số)
• model_parameters (tham số mô hình)
• learning_rate (tốc độ học)
• batch_size (kích thước lô)