التدريب بالدقة المختلطة

term_id: mixed_precision_training

Category: training_techniques

Definition

يجمع التدريب بالدقة المختلطة (MPT) بين أنواع البيانات نصف الدقة (FP16) والدقة الكاملة (FP32) أثناء تدريب الشبكات العصبية. من خلال استخدام FP16 لمعظم العمليات، يقلل MPT من البصمة.memory ويزيد

Summary

تقنية تدريب تستخدم كل من الأرقام العشرية 16-بت و 32-بت لتسريع الحسابات وتقليل استخدام الذاكرة.

Key Concepts

  • FP16
  • FP32
  • أنوية التنسور (Tensor Cores)
  • الاستقرار العددي

Use Cases

  • تدريب النماذج الكبيرة
  • تسريع وحدات معالجة الرسومات (GPU)
  • البيئات المقيدة بالذاكرة

Code Example

1
2
3
4
5
6
7

import torch
import torch.cuda.amp as amp

# Example snippet showing automatic mixed precision context
with amp.autocast():
    output = model(input)
    loss = criterion(output, target)

Related