Vegyes pontosságú tanítás

term_id: mixed_precision_training

Category: training_techniques

Definition

A vegyes pontosságú tanítás (MPT) félprecizitású (FP16) és teljes precizitású (FP32) adattípusokat kombinál a neurális hálózatok tanítása során. Az FP16 legtöbb műveletnél történő használata csökkenti a memóriaigényt és…

Summary

Egy tanítási technika, amely egyszerre használ 16 bites és 32 bites lebegőpontos számokat a számítás gyorsítására és a memóriahasználat csökkentésére.

Key Concepts

  • FP16
  • FP32
  • Tensor Core-k
  • Numerikus stabilitás

Use Cases

  • Nagy modellek tanítása
  • GPU gyorsítás
  • Memória-korlátozott környezetek

Code Example

1
2
3
4
5
6
7

import torch
import torch.cuda.amp as amp

# Example snippet showing automatic mixed precision context
with amp.autocast():
    output = model(input)
    loss = criterion(output, target)

Related