Imatrix
term_id: imatrix
Category: basic_concepts
Definition
Imatrix, קיצור של Importance Matrix (מטריצת חשיבות), היא טכניקה הקשורה בעיקר לאימון וכיווץ (Quantization) של מודלי שפה גדולים מבוססי GGML. היא מחשבת נגזרות מסדר שני (קירוב מטריצת היסן) של…
Summary
אלגוריתם ספציפי המשמש באימון מודלי שפה גדולים לחישוב מטריצות חשיבות לאופטימיזציה יעילה של פרמטרים.
Key Concepts
- מטריצת היסן
- חשיבות פרמטרית
- כיווץ מודל
- אופטימיזציה בדיוק עדין
Use Cases
- דיוק עדין יעיל של מודלי שפה גדולים
- כיווץ מודלים למכשירי קצה
- הפחתת עומס חישובי באימון