Mxfp4
term_id: mxfp4
Category: basic_concepts
Definition
MXFP4 (Mixed eXtended Floating Point 4-bit) הוא פורמט סוג נתונים ייעודי שהוצג כדי לייעל ביצועים ולהפחית שימוש ברוחב פס זיכרון בעומסי עבודה של בינה מלאכותית. על ידי אפשרות פעולות במדויקות מעורבת
Summary
MXFP4 הוא פורמט נקודה צפה מדויקות מעורבת המותאם לביצוע כפל מטריצות יעיל באצטדטים חומרה לבינה מלאכותית.
Key Concepts
- כימות (Quantization)
- מדויקות מעורבת (Mixed Precision)
- האצלת חומרה (Hardware Acceleration)
- כפל מטריצות
Use Cases
- אופטימיזציה של הסקת מודלי שפה גדולים (LLM) על התקני קצה
- הפחתת טביעת הרגל הזיכרון באימון בקנה מידה גדול
- האצת פריסת מודלים מבוססי מתרגמים (Transformers)