Rychlost učení

term_id: learning_rate

Category: training_techniques

Definition

Rychlost učení určuje, o kolik se váhy modelu aktualizují vzhledem k vypočtenému gradientu během každé iterace tréninku. Příliš vysoká rychlost může způsobit, že model přeskočí optimum, zatímco příliš nízká může vést k velmi pomalému učení nebo uvíznutí v lokálním minimu.

Summary

Hyperparametr, který řídí velikost kroku během optimalizace modelu za účelem minimalizace funkce ztráty.

Key Concepts

  • Gradientní sestup
  • Ladění hyperparametrů
  • Konvergence
  • Optimizér

Use Cases

  • Trénink neuronových sítí
  • Optimalizace hlubokých učebních modelů
  • Aktualizace politik v posilovaném učení

Code Example

1
2
3

import torch.optim as optim
model = MyModel()
optimizer = optim.SGD(model.parameters(), lr=0.01)

Related