Lernrate

term_id: learning_rate

Category: training_techniques

Definition

Die Lernrate bestimmt, wie stark die Gewichte des Modells im Verhältnis zum berechneten Gradienten während jeder Trainingsiteration aktualisiert werden. Eine zu hohe Rate kann dazu führen, dass das Modell das Optimum verfehlt (overshooting), während eine zu niedrige Rate den Trainingsprozess verlangsamt.

Summary

Ein Hyperparameter, der die Schrittgröße während der Modelloptimierung steuert, um die Verlustfunktion zu minimieren.

Key Concepts

  • Gradientenabstieg
  • Hyperparameter-Tuning
  • Konvergenz
  • Optimizer

Use Cases

  • Training neuronaler Netze
  • Optimierung von Deep-Learning-Modellen
  • Aktualisierung von Richtlinien im Verstärkungslernen

Code Example

1
2
3

import torch.optim as optim
model = MyModel()
optimizer = optim.SGD(model.parameters(), lr=0.01)

Related