Tasso di Apprendimento

term_id: learning_rate

Category: training_techniques

Definition

Il tasso di apprendimento determina quanto vengono aggiornati i pesi del modello rispetto al gradiente calcolato durante ogni iterazione di addestramento. Un tasso troppo elevato può causare il superamento del minimo della funzione di perdita (overshooting), impedendo la convergenza, mentre un tasso troppo basso può rendere l’addestramento eccessivamente lento o far rimanere il modello bloccato in minimi locali.

Summary

Un iperparametro che controlla la dimensione del passo durante l’ottimizzazione del modello per minimizzare la funzione di perdita.

Key Concepts

  • Discesa del Gradiente
  • Regolazione degli Iperparametri
  • Convergenza
  • Ottimizzatore

Use Cases

  • Addestramento di reti neurali
  • Ottimizzazione di modelli di deep learning
  • Aggiornamento delle policy nell’apprendimento per rinforzo

Code Example

1
2
3

import torch.optim as optim
model = MyModel()
optimizer = optim.SGD(model.parameters(), lr=0.01)

Related