ضبط البادئة
term_id: prefix_tuning
Category: training_techniques
Definition
يُعد ضبط البادئة تقنية لتكييف النماذج مسبقاً التدريب بكفاءة في استخدام المعلمات. بدلاً من تحديث جميع أوزان النموذج، يتم إضافة تسلسل من المتجهات المستمرة القابلة للتدريب (البادئة) إلى مدخلات طبقات المحوّل، مما يسمح بتخصيص النموذج لمهمة محددة مع الحفاظ على الأوزان الأصلية ثابتة.
Summary
طريقة لضبط النماذج بكفاءة في المعلمات تضيف متجهات مستمرة قابلة للتدريب إلى مدخل طبقات المحوّل (Transformer).
Key Concepts
- التنظيم الفعال للمعلمات
- المطالبات اللينة (Soft Prompts)
- طبقات المحوّل
- الهيكل الأساسي الثابت
Use Cases
- التكيف مع التعلم قليل العينات
- التعلم متعدد المهام بموارد محدودة
- تخصيص نماذج اللغة الكبيرة لمجالات متخصصة