Sekatarkkuuksinen koulutus

term_id: mixed_precision_training

Category: training_techniques

Definition

Sekatarkkuuksinen koulutus (MPT) yhdistää puolitäsmälliset (FP16) ja täystarkkuuksiset (FP32) datatyypit neuroverkon koulutuksessa. Käyttämällä FP16:tta useimpiin operaatioihin MPT vähentää muistivaatimuksia ja parantaa

Summary

Koulutustekniikka, joka käyttää sekä 16-bittisiä että 32-bittisiä liukulukuja nopeuttaakseen laskentaa ja vähentääkseen muistin käyttöä.

Key Concepts

  • FP16
  • FP32
  • Tensor-ytimet (Tensor Cores)
  • Numeerinen vakaus

Use Cases

  • Suurten mallien koulutus
  • GPU-kiihdytys
  • Muistirajoitteiset ympäristöt

Code Example

1
2
3
4
5
6
7

import torch
import torch.cuda.amp as amp

# Example snippet showing automatic mixed precision context
with amp.autocast():
    output = model(input)
    loss = criterion(output, target)

Related