Tốc độ học

term_id: learning_rate

Category: training_techniques

Definition

Tốc độ học xác định mức độ cập nhật trọng số của mô hình so với gradient đã tính toán được trong mỗi vòng lặp huấn luyện. Nếu tốc độ học quá cao, mô hình có thể vượt quá điểm tối ưu và không hội tụ; ngược lại, nếu quá thấp, quá trình huấn luyện sẽ tốn nhiều thời gian hoặc mắc kẹt tại các cực tiểu địa phương. Việc tinh chỉnh tốc độ học là bước quan trọng để đạt được hiệu suất mô hình tốt nhất.

Summary

Một siêu tham số kiểm soát kích thước bước trong quá trình tối ưu hóa mô hình nhằm giảm thiểu hàm mất mát.

Key Concepts

  • Hội tụ gradient (Gradient Descent)
  • Điều chỉnh siêu tham số (Hyperparameter Tuning)
  • Sự hội tụ (Convergence)
  • Bộ tối ưu hóa (Optimizer)

Use Cases

  • Huấn luyện mạng nơ-ron
  • Tối ưu hóa mô hình học sâu
  • Cập nhật chính sách trong học tăng cường

Code Example

1
2
3

import torch.optim as optim
model = MyModel()
optimizer = optim.SGD(model.parameters(), lr=0.01)

Related