טנסורים דחוסים

term_id: compressed_tensors

Category: basic_concepts

Definition

טנסורים דחוסים הם מערכים רב-ממדיים המשמשים בלמידה עמוקה, שבהם הדיוק המספרי (למשל, מ-float32 ל-int8) או הצפיפות הוקטנו. טכניקה זו, הידועה בשם כמותנה (Quantization) או דחיסה, מאפשרת הפחתת צריכת הזיכרון.

Summary

טנסורים שבהם דיוק הנתונים או גודלם הוקטנו כדי לייעל אחסון ויעילות חישובית.

Key Concepts

  • כמותנה (Quantization)
  • דלילות (Sparsity)
  • אופטימיזציית זיכרון
  • מהירות מסקנה (Inference Speed)

Use Cases

  • הטמעת אפליקציות AI בסלולר
  • עיבוד על התקני קצה (Edge devices)
  • אופטימיזציה של שרתים לדגמי שפה גדולים (LLM)

Code Example

1
2
3
4

import torch
# Example of converting a tensor to half precision
x = torch.randn(10, 10)
x_compressed = x.half()

Related