Huấn luyện độ chính xác hỗn hợp

term_id: mixed_precision_training

Category: training_techniques

Definition

Huấn luyện độ chính xác hỗn hợp (MPT) kết hợp các kiểu dữ liệu bán chính xác (FP16) và chính xác đầy đủ (FP32) trong quá trình huấn luyện mạng nơ-ron. Bằng cách sử dụng FP16 cho hầu hết các phép toán, MPT giảm footprint bộ nhớ và cải

Summary

Kỹ thuật huấn luyện sử dụng cả số dấu phẩy động 16-bit và 32-bit để tăng tốc tính toán và giảm mức sử dụng bộ nhớ.

Key Concepts

  • FP16
  • FP32
  • Tensor Cores
  • Ổn định số học

Use Cases

  • Huấn luyện mô hình lớn
  • Tăng tốc GPU
  • Môi trường hạn chế bộ nhớ

Code Example

1
2
3
4
5
6
7

import torch
import torch.cuda.amp as amp

# Example snippet showing automatic mixed precision context
with amp.autocast():
    output = model(input)
    loss = criterion(output, target)

Related