Inlärningshastighet

term_id: learning_rate

Category: training_techniques

Definition

Inlärningshastigheten bestämmer hur mycket modellens vikter uppdateras i förhållande till det beräknade gradienten under varje träningsiteration. En hastighet som är för hög kan få modellen att överskrida optima, medan en för låg hastighet leder till långsam konvergens eller att modellen fastnar i lokala minimipunkter.

Summary

En hyperparameter som styr storpstorleken under modelloptimering för att minimera förlustfunktionen.

Key Concepts

  • Gradientnedstigning
  • Justering av hyperparametrar
  • Konvergens
  • Optimerare

Use Cases

  • Träning av neuronnät
  • Optimering av djupinlärningsmodeller
  • Uppdatering av policyer i förstärkningsinlärning

Code Example

1
2
3

import torch.optim as optim
model = MyModel()
optimizer = optim.SGD(model.parameters(), lr=0.01)

Related