Träning med blandad precision

term_id: mixed_precision_training

Category: training_techniques

Definition

Träning med blandad precision (MPT) kombinerar halvprecision (FP16) och full precision (FP32) datatyper under träning av neurala nätverk. Genom att använda FP16 för de flesta operationer minskar MPT minnesfotavtrycket och…

Summary

En träningsmetod som använder både 16-bitars och 32-bitars flyttal för att accelerera beräkningar och minska minnesanvändningen.

Key Concepts

  • FP16
  • FP32
  • Tensor Cores
  • Numerisk stabilitet

Use Cases

  • Träning av stora modeller
  • GPU-acceleration
  • Miljöer med begränsat minne

Code Example

1
2
3
4
5
6
7

import torch
import torch.cuda.amp as amp

# Example snippet showing automatic mixed precision context
with amp.autocast():
    output = model(input)
    loss = criterion(output, target)

Related