Szkolenie mieszanej precyzji

term_id: mixed_precision_training

Category: training_techniques

Definition

Szkolenie mieszanej precyzji (MPT) łączy typy danych półprecyzyjne (FP16) i pełnej precyzji (FP32) podczas trenowania sieci neuronowych. Dzięki użyciu FP16 dla większości operacji, MPT zmniejsza ślad pamięciowy i zwiększa

Summary

Technika szkoleniowa wykorzystująca zarówno liczby zmiennoprzecinkowe 16-bitowe, jak i 32-bitowe, aby przyspieszyć obliczenia i zmniejszyć zużycie pamięci.

Key Concepts

  • FP16
  • FP32
  • Jadra Tensorowe
  • Stabilność numeryczna

Use Cases

  • Szkolenie dużych modeli
  • Akceleracja GPU
  • Środowiska z ograniczoną pamięcią

Code Example

1
2
3
4
5
6
7

import torch
import torch.cuda.amp as amp

# Example snippet showing automatic mixed precision context
with amp.autocast():
    output = model(input)
    loss = criterion(output, target)

Related