Karışık Hassasiyetli Eğitim

term_id: mixed_precision_training

Category: training_techniques

Definition

Karışık Hassasiyetli Eğitim (MPT), sinir ağı eğitiminde yarım hassasiyetli (FP16) ve tam hassasiyetli (FP32) veri türlerini birleştirir. İşlemlerin çoğu için FP16 kullanılarak MPT, bellek ayak izini azaltır ve…

Summary

Hesaplamayı hızlandırmak ve bellek kullanımını azaltmak için hem 16-bit hem de 32-bit kayan nokta sayıları kullanan bir eğitim tekniği.

Key Concepts

  • FP16
  • FP32
  • Tensor Çekirdekleri
  • Sayısal Kararlılık

Use Cases

  • Büyük model eğitimi
  • GPU hızlandırma
  • Bellek kısıtlı ortamlar

Code Example

1
2
3
4
5
6
7

import torch
import torch.cuda.amp as amp

# Example snippet showing automatic mixed precision context
with amp.autocast():
    output = model(input)
    loss = criterion(output, target)

Related