Mixed Precision Training

term_id: mixed_precision_training

Category: training_techniques

Definition

Mixed Precision Training (MPT) kombinerer halvpræcision (FP16) og fuld præcision (FP32) datatyper under træning af neurale netværk. Ved at bruge FP16 til de fleste operationer reducerer MPT hukommelsesaftrykket og i

Summary

En træningsteknik, der bruger både 16-bit og 32-bit flydende komma-tal til at accelerere beregningen og reducere hukommelsesforbruget.

Key Concepts

  • FP16
  • FP32
  • Tensor Cores
  • Numerisk stabilitet

Use Cases

  • Træning af store modeller
  • GPU-acceleration
  • Miljøer med begrænset hukommelse

Code Example

1
2
3
4
5
6
7

import torch
import torch.cuda.amp as amp

# Example snippet showing automatic mixed precision context
with amp.autocast():
    output = model(input)
    loss = criterion(output, target)

Related