מילוי מסכה
term_id: fill_mask
Category: basic_concepts
Definition
מילוי מסכה היא מטרת אימון מקדים בסיסית המשמשת במודלים מבוססי טרנספורמר כמו BERT. התהליך כולל הסתרת אסימונים אקראיים ברצף טקסט והאימון של המודל לחזות את האסימונים המקוריים.
Summary
משימה בעיבוד שפה טבעית שבה מודל חוזה אסימונים חסרים במשפט בהתבסס על ההקשר הסובב.
Key Concepts
- מודלינג שפה עם מסכה
- הבנה הקשרית
- למידה חצי-מפוקחת
- חיזוי אסימון
Use Cases
- השלמת טקסט
- תיאום תפקידים סמנטיים
- יסוד לאימון מקדים