אימון בדיוק מעורב

term_id: mixed_precision_training

Category: training_techniques

Definition

אימון בדיוק מעורב (MPT) משלב סוגי נתונים של דיוק חצי (FP16) ודיוק מלא (FP32) במהלך אימון רשתות נוירונים. באמצעות שימוש ב-FP16 לרוב הפעולות, MPT מפחית את טביעת הרגל בזיכרון ומאיץ

Summary

טכניקת אימון המשלבת מספרים נקודה צפה 16-סיביות ו-32-סיביות כדי להאיץ חישובים ולהפחית שימוש בזיכרון.

Key Concepts

  • FP16
  • FP32
  • ליבות טנסור (Tensor Cores)
  • יציבות נומרית

Use Cases

  • אימון מודלים גדולים
  • האצה באמצעות GPU
  • סביבות עם מגבלות זיכרון

Code Example

1
2
3
4
5
6
7

import torch
import torch.cuda.amp as amp

# Example snippet showing automatic mixed precision context
with amp.autocast():
    output = model(input)
    loss = criterion(output, target)

Related