כוונון קידומת
term_id: prefix_tuning
Category: training_techniques
Definition
כוונון קידומת הוא טכניקה להתאמה חסכונית בפרמטרים עבור טרנספורמרים מאומנים מראש. במקום לעדכן את כל משקולות המודל, השיטה מוסיפה רצף של וקטורים רציפים ניתנים לאימון (הקידומת) לפני הקלט של כל שכבת טרנספורמר, מה שמאפשר התאמה יעילה של המודל למשימות ספציפיות.
Summary
שיטת כוונון עדיף לפרמטרים המוסיפה וקטורים רציפים ניתנים לאימון לקלט של שכבות טרנספורמר.
Key Concepts
- כוונון חסכוני בפרמטרים
- הנחיות רכות (Soft Prompts)
- שכבות טרנספורמר
- שלד קפוא
Use Cases
- התאמה ללמידה במספר דוגמאות מועטות (Few-shot)
- למידה רב-משימתית עם משאבים מוגבלים
- התאמה אישית של מודלי שפה גדולים לתחומים נישתיים