דחיסת מודל

term_id: model_compression

Category: training_techniques

Definition

קטגוריה זו כוללת שיטות כמו חיתוך (pruning), כימות (quantization) ודיסטילציית ידע, המכוונות להקטין את טביעת הרגל של המודל תוך שמירה על הביצועים. זה קריטי להטמעת מודלי AI מורכבים

Summary

דחיסת מודל מתייחסת לטכניקות המפחיתות את גודל הדרישות החישוביות של מודלי למידת מכונה.

Key Concepts

  • כימות (Quantization)
  • חיתוך (Pruning)
  • דיסטילציית ידע
  • מהירות מסקנה (Inference Speed)

Use Cases

  • הטמעת מודלים במכשירים ניידים
  • הפחתת עלויות מסקנה בענן
  • האצת עיבוד וידאו בזמן אמת

Code Example

1
2

import torch.quantization as quant
model = quant.quantize_dynamic(model, {torch.nn.Linear}, dtype=torch.qint8)

Related