Læringsrate

term_id: learning_rate

Category: training_techniques

Definition

Læringsraten bestemmer hvor mye modellens vekter oppdateres i forhold til den beregnede gradienten under hver treningsiterasjon. En rate som er for høy kan føre til at modellen overskyter optimalpunktet og divergerer, mens en rate som er for lav kan gjøre treningen unødvendig langsom eller føre til at modellen fastner i lokale minimumspunkter.

Summary

En hyperparameter som kontrollerer størrelsen på skrittet under modelloptimalisering for å minimere tapfunksjonen.

Key Concepts

  • Gradientnedstigning
  • Finjustering av hyperparametre
  • Konvergens
  • Optimiserer

Use Cases

  • Trening av nevrale nettverk
  • Optimalisering av dyp læringsmodeller
  • Oppdatering av politikker i forsterkende læring

Code Example

1
2
3

import torch.optim as optim
model = MyModel()
optimizer = optim.SGD(model.parameters(), lr=0.01)

Related