التقطيع المعرفي
term_id: distillation
Category: training_techniques
Definition
تتضمن هذه العملية نقل المعرفة من شبكة عصبية معقدة وعالية الأداء تُعرف بـ ‘المعلّم’ إلى شبكة أبسط وأكثر كفاءة تُعرف بـ ‘الطالب’. لا يتعلم الطالب فقط من التسميات الصارمة (hard labels)، بل أيضاً من الاحتمالات اللينة التي يقدمها النموذج الأكبر.
Summary
التقطيع المعرفي هو تقنية لضغط النماذج حيث يتعلم نموذج أصغر (طالب) محاكاة سلوك نموذج أكبر (معلّم).
Key Concepts
- هندسة المعلم والطالب
- الأهداف اللينة
- ضغط النموذج
- كفاءة الاستدلال
Use Cases
- نشر نماذج اللغة الكبيرة على الأجهزة المحمولة
- تقليل زمن الاستجابة في تطبيقات الرؤية الحاسوبية في الوقت الفعلي
- تحسين نماذج التعلم العميق لبيئات الحوسبة الطرفية