ملء القناع
term_id: fill_mask
Category: basic_concepts
Definition
يُعد ملء القناع هدف تدريب أولي أساسي يُستخدم في النماذج القائمة على المحولات مثل BERT. تتضمن العملية قناع رموز عشوائية في تسلسل نصي وتدريب النموذج على توقع الأصل.
Summary
مهمة في معالجة اللغات الطبيعية يتوقع فيها النموذج الرموز المفقودة داخل جملة بناءً على السياق المحيط.
Key Concepts
- نمذجة اللغة المقنعة
- الفهم السياقي
- التعلم تحت الإشراف الذاتي
- توقع الرمز
Use Cases
- إكمال النص
- تسمية الأدوار الدلالية
- أساس التدريب الأولي