Rata de învățare

term_id: learning_rate

Category: training_techniques

Definition

Rata de învățare determină cât de mult sunt actualizate ponderile modelului relativ la gradientul calculat în fiecare iterație de antrenament. O rată prea mare poate determina modelul să depășească optimul

Summary

Un hiperparametru care controlează mărimea pașilor în timpul optimizării modelului pentru a minimiza funcția de pierdere.

Key Concepts

  • Descinderea gradientului
  • Reglarea hiperparametrilor
  • Convergență
  • Optimizer

Use Cases

  • Antrenarea rețelelor neuronale
  • Optimizarea modelelor de învățare profundă
  • Actualizarea politicilor în învățarea prin întărire

Code Example

1
2
3

import torch.optim as optim
model = MyModel()
optimizer = optim.SGD(model.parameters(), lr=0.01)

Related