Mixed Precision Training

term_id: mixed_precision_training

Category: training_techniques

Definition

Mixed Precision Training (MPT) combineert halfprecisie (FP16) en volledige precisie (FP32) gegevenstypen tijdens het trainen van neurale netwerken. Door FP16 te gebruiken voor de meeste bewerkingen, vermindert MPT de geheugenruimte en verbetert het de

Summary

Een trainingsmethode die zowel 16-bit als 32-bit drijvende-kommagetallen gebruikt om berekeningen te versnellen en het geheugengebruik te verminderen.

Key Concepts

  • FP16
  • FP32
  • Tensor Cores
  • Numerieke stabiliteit

Use Cases

  • Training van grote modellen
  • GPU-versnelling
  • Omgevingen met beperkt geheugen

Code Example

1
2
3
4
5
6
7

import torch
import torch.cuda.amp as amp

# Example snippet showing automatic mixed precision context
with amp.autocast():
    output = model(input)
    loss = criterion(output, target)

Related