Addestramento a precisione mista

term_id: mixed_precision_training

Category: training_techniques

Definition

L’addestramento a precisione mista (MPT) combina tipi di dati a mezza precisione (FP16) e a piena precisione (FP32) durante l’addestramento delle reti neurali. Utilizzando FP16 per la maggior parte delle operazioni, la MPT riduce l’impronta di memoria e

Summary

Una tecnica di addestramento che utilizza numeri in virgola mobile a 16 bit e 32 bit per accelerare il calcolo e ridurre l’utilizzo della memoria.

Key Concepts

  • FP16
  • FP32
  • Tensor Cores
  • Stabilità numerica

Use Cases

  • Addestramento di modelli di grandi dimensioni
  • Accelerazione GPU
  • Ambienti con risorse di memoria limitate

Code Example

1
2
3
4
5
6
7

import torch
import torch.cuda.amp as amp

# Example snippet showing automatic mixed precision context
with amp.autocast():
    output = model(input)
    loss = criterion(output, target)

Related