כוונון הנחיות (Prompt Tuning)
term_id: prompt_tuning
Category: training_techniques
Definition
כוונון הנחיות כולל הוספת הנחיות רכות ניתנות לאימון (וקטורים רציפים) לשכבת הקלט של מודל שפה מאומן מראש, תוך שמירה על פרמטרי המודל הבסיסיים קפואים. גישה זו מאפשרת התאמה יעילה.
Summary
שיטת דיוק יעילה מבחינת פרמטרים הממקסמת הטבעות קלט רציפות במקום לעדכן את כל משקולות המודל.
Key Concepts
- הנחיות רכות
- יעילות פרמטרית
- משקולות קפואות
- למידה בדוגמה בודדת/מעטה
Use Cases
- התאמת מודלי שפה גדולים (LLMs) לתחומים ספציפיים
- דיוק במשאבים מועטים
- אופטימיזציה של למידה רב-משימתית