Entraînement en précision mixte

term_id: mixed_precision_training

Category: training_techniques

Definition

L’entraînement en précision mixte (MPT) combine des types de données en demi-précision (FP16) et en pleine précision (FP32) lors de l’entraînement des réseaux neuronaux. En utilisant le FP16 pour la plupart des opérations, le MPT réduit l’empreinte mémoire et

Summary

Une technique d’entraînement utilisant à la fois des nombres à virgule flottante sur 16 bits et 32 bits pour accélérer le calcul et réduire l’utilisation de la mémoire.

Key Concepts

  • FP16
  • FP32
  • Cœurs Tensor
  • Stabilité numérique

Use Cases

  • Entraînement de grands modèles
  • Accélération GPU
  • Environnements à mémoire contrainte

Code Example

1
2
3
4
5
6
7

import torch
import torch.cuda.amp as amp

# Example snippet showing automatic mixed precision context
with amp.autocast():
    output = model(input)
    loss = criterion(output, target)

Related