Antrenament cu precizie mixtă

term_id: mixed_precision_training

Category: training_techniques

Definition

Antrenamentul cu precizie mixtă (MPT) combină tipurile de date cu precizie semi (FP16) și cu precizie completă (FP32) în timpul antrenamentului rețelelor neuronale. Prin utilizarea FP16 pentru majoritatea operațiilor, MPT reduce amprenta de memorie și

Summary

O tehnică de antrenament care utilizează atât numere în virgulă mobilă pe 16 biți, cât și pe 32 de biți pentru a accelera calculul și a reduce utilizarea memoriei.

Key Concepts

  • FP16
  • FP32
  • Cores Tensor
  • Stabilitate numerică

Use Cases

  • Antrenarea modelelor mari
  • Accelerare GPU
  • Medii cu resurse de memorie limitate

Code Example

1
2
3
4
5
6
7

import torch
import torch.cuda.amp as amp

# Example snippet showing automatic mixed precision context
with amp.autocast():
    output = model(input)
    loss = criterion(output, target)

Related