Szybkość uczenia

term_id: learning_rate

Category: training_techniques

Definition

Szybkość uczenia określa, o ile wagi modelu są aktualizowane względem obliczonego gradientu podczas każdej iteracji treningu. Zbyt wysoka szybkość może spowodować, że model przeskoczy przez optimum…

Summary

Hiperpametram kontrolujący wielkość kroku podczas optymalizacji modelu w celu zminimalizowania funkcji straty.

Key Concepts

  • Spadek gradientu (Gradient Descent)
  • Dopasowanie hiperpametramów (Hyperparameter Tuning)
  • Zbieżność (Convergence)
  • Optymalizator (Optimizer)

Use Cases

  • Trening sieci neuronowych
  • Optymalizacja modeli głębokiego uczenia
  • Aktualizacje polityki w uczeniu ze wzmocnieniem

Code Example

1
2
3

import torch.optim as optim
model = MyModel()
optimizer = optim.SGD(model.parameters(), lr=0.01)

Related