Trénink smíšené přesnosti

term_id: mixed_precision_training

Category: training_techniques

Definition

Trénink smíšené přesnosti (MPT) kombinuje datové typy poloviční přesnosti (FP16) a plné přesnosti (FP32) během tréninku neuronových sítí. Používáním FP16 pro většinu operací MPT snižuje spotřebu paměti a zvyšuje…

Summary

Technika tréninku, která používá plovoucí čísla 16bitové i 32bitové přesnosti k urychlení výpočtů a snížení využití paměti.

Key Concepts

  • FP16
  • FP32
  • Tensorové jádra
  • Číselná stabilita

Use Cases

  • Trénink velkých modelů
  • Akcelerace na GPU
  • Prostředí s omezenou pamětí

Code Example

1
2
3
4
5
6
7

import torch
import torch.cuda.amp as amp

# Example snippet showing automatic mixed precision context
with amp.autocast():
    output = model(input)
    loss = criterion(output, target)

Related