Taux d'apprentissage

term_id: learning_rate

Category: training_techniques

Definition

Le taux d’apprentissage détermine de combien les poids du modèle sont mis à jour par rapport au gradient calculé lors de chaque itération d’entraînement. Un taux trop élevé peut amener le modèle à dépasser l’optimum

Summary

Un hyperparamètre qui contrôle la taille du pas lors de l’optimisation du modèle pour minimiser la fonction de perte.

Key Concepts

  • Descente de gradient
  • Réglage des hyperparamètres
  • Convergence
  • Optimiseur

Use Cases

  • Entraînement de réseaux neuronaux
  • Optimisation de modèles d’apprentissage profond
  • Mises à jour de politique en apprentissage par renforcement

Code Example

import torch.optim as optim
model = MyModel()
optimizer = optim.SGD(model.parameters(), lr=0.01)

Related