Oppimisaste

term_id: learning_rate

Category: training_techniques

Definition

Oppimisaste määrittää, kuinka paljon mallin painoja päivitetään laskettua gradienttia vastaavasti jokaisen koulutusiteroinnin aikana. Liian korkea oppimisaste voi aiheuttaa sen, että malli ohittaa optimin, kun taas liian matala hidastaa konvergenssia merkittävästi.

Summary

Hyperparametri, joka säätelee askelen kokoa mallin optimoinnin aikana minimoidakseen häviöfunktion.

Key Concepts

  • Gradienttinousu
  • Hyperparametrien säätö
  • Konvergenssi
  • Optimoija

Use Cases

  • Neuroverkkojen koulutus
  • Syvän oppimisen mallien optimointi
  • Vahvistusoppimisen politiikan päivitykset

Code Example

1
2
3

import torch.optim as optim
model = MyModel()
optimizer = optim.SGD(model.parameters(), lr=0.01)

Related