Treinamento de Precisão Mista

term_id: mixed_precision_training

Category: training_techniques

Definition

O Treinamento de Precisão Mista (MPT) combina tipos de dados de meia precisão (FP16) e precisão total (FP32) durante o treinamento de redes neurais. Ao usar FP16 para a maioria das operações, o MPT reduz a pegada de memória e aumenta a velocidade de treinamento.

Summary

Uma técnica de treinamento que utiliza números de ponto flutuante de 16 bits e 32 bits para acelerar o cálculo e reduzir o uso de memória.

Key Concepts

  • FP16
  • FP32
  • Tensor Cores
  • Estabilidade Numérica

Use Cases

  • Treinamento de grandes modelos
  • Aceleração por GPU
  • Ambientes com restrição de memória

Code Example

1
2
3
4
5
6
7

import torch
import torch.cuda.amp as amp

# Example snippet showing automatic mixed precision context
with amp.autocast():
    output = model(input)
    loss = criterion(output, target)

Related