Leersnelheid

term_id: learning_rate

Category: training_techniques

Definition

De leersnelheid bepaalt hoeveel de gewichten van het model worden bijgewerkt ten opzichte van de berekende gradiënt tijdens elke trainingsiteratie. Een te hoge snelheid kan ervoor zorgen dat het model de optimalen overschrijdt (overshooting), terwijl een te lage snelheid de training extreem langzaam kan maken.

Summary

Een hyperparameter die de stapgrootte tijdens modeloptimalisatie regelt om de verliesfunctie te minimaliseren.

Key Concepts

  • Gradiëntdalingsmethode
  • Hyperparameter tuning
  • Convergentie
  • Optimizer

Use Cases

  • Training van neurale netwerken
  • Optimalisatie van deep learning-modellen
  • Beleidsupdates in reinforcement learning

Code Example

1
2
3

import torch.optim as optim
model = MyModel()
optimizer = optim.SGD(model.parameters(), lr=0.01)

Related