Mixed-Precision-Training

term_id: mixed_precision_training

Category: training_techniques

Definition

Mixed-Precision-Training (MPT) kombiniert Halbgaußgenauigkeit (FP16) und Vollgenauigkeit (FP32) während des Trainings neuronaler Netze. Durch die Verwendung von FP16 für die meisten Operationen reduziert MPT den Speicherbedarf und

Summary

Eine Trainingsmethode, die sowohl 16-Bit- als auch 32-Bit-Gleitkommazahlen verwendet, um die Berechnung zu beschleunigen und den Speicherverbrauch zu reduzieren.

Key Concepts

  • FP16
  • FP32
  • Tensor Cores
  • Numerische Stabilität

Use Cases

  • Training großer Modelle
  • GPU-Beschleunigung
  • Umgebungen mit eingeschränktem Speicher

Code Example

1
2
3
4
5
6
7

import torch
import torch.cuda.amp as amp

# Example snippet showing automatic mixed precision context
with amp.autocast():
    output = model(input)
    loss = criterion(output, target)

Related