Læringsrate

term_id: learning_rate

Category: training_techniques

Definition

Læringsraten bestemmer, hvor meget modellens vægte opdateres i forhold til det beregnede gradient under hver træningsiteration. En rate, der er for høj, kan få modellen til at overskride optima, mens en rate, der er for lav, kan føre til langsom konvergens eller fastlåsthed i lokale minimum.

Summary

En hyperparameter, der styrer trinnet under modeloptimering for at minimere tabfunktionen.

Key Concepts

  • Gradientnedstigning
  • Hyperparameterjustering
  • Konvergens
  • Optimizer

Use Cases

  • Træning af neurale netværk
  • Optimering af dyb læring-modeller
  • Opdatering af politikker i forstærkningslæring

Code Example

1
2
3

import torch.optim as optim
model = MyModel()
optimizer = optim.SGD(model.parameters(), lr=0.01)

Related