مصفوفة الأهمية (Imatrix)
term_id: imatrix
Category: basic_concepts
Definition
Imatrix، اختصاراً لـ Importance Matrix، هي تقنية ترتبط أساساً بتدريب وضغط نماذج اللغة الكبيرة القائمة على GGML. تحسب المشتقات من الرتبة الثانية (تقريب لمصفوفة هيسيان) للمعاملات لتقييم أهميتها أثناء عملية الضغط أو التحسين.
Summary
خوارزمية محددة تستخدم في تدريب نماذج اللغة الكبيرة لحساب مصفوفات الأهمية لتحسين المعلمات بكفاءة.
Key Concepts
- مصفوفة هيسيان
- أهمية المعلمات
- ضغط النموذج
- تحسين الضبط الدقيق
Use Cases
- ضبط دقيق فعال لنماذج اللغة الكبيرة
- ضغط النماذج للأجهزة الطرفية
- تقليل الحمل الحسابي أثناء التدريب