Tanulási ráta

term_id: learning_rate

Category: training_techniques

Definition

A tanulási ráta határozza meg, hogy a modell súlyait mennyire frissítik a kiszámított gradienshez képest minden tanítási iteráció során. Ha a ráta túl magas, a modell túlléphet a minimumon, instabillá válhat vagy szétrobbanhat; ha pedig túl alacsony, a tanulás nagyon lassú lehet, vagy lokális optimumba ragadhat.

Summary

Egy hiperparaméter, amely szabályozza a modell optimalizálása során megtett lépések méretét a veszteségfüggvény minimalizálása érdekében.

Key Concepts

  • Gradiens lecsengés (Gradient Descent)
  • Hiperparaméter-beállítás (Hyperparameter Tuning)
  • Konvergencia (Convergence)
  • Optimizáló algoritmus (Optimizer)

Use Cases

  • Neurális hálózatok tanítása
  • Mélytanulási modellek optimalizálása
  • Megerősítéses tanulású politika-frissítések

Code Example

1
2
3

import torch.optim as optim
model = MyModel()
optimizer = optim.SGD(model.parameters(), lr=0.01)

Related