혼합 정밀도 학습

term_id: mixed_precision_training

Category: training_techniques

Definition

혼합 정밀도 학습(MPT)은 신경망 학습 과정에서 반정밀도(FP16)와 완전 정밀도(FP32) 데이터 타입을 결합합니다. 대부분의 연산에 FP16을 사용함으로써 MPT는 메모리 사용량을 줄이고 계산 속도를 향상시킵니다.

Summary

계산 속도를 높이고 메모리 사용을 줄이기 위해 16비트와 32비트 부동소수점 숫자를 모두 사용하는 학습 기법입니다.

Key Concepts

  • FP16
  • FP32
  • 텐서 코어
  • 수치 안정성

Use Cases

  • 대규모 모델 학습
  • GPU 가속화
  • 메모리가 제한된 환경

Code Example

1
2
3
4
5
6
7

import torch
import torch.cuda.amp as amp

# Example snippet showing automatic mixed precision context
with amp.autocast():
    output = model(input)
    loss = criterion(output, target)

Related