P-Tuning
term_id: p_tuning
Category: training_techniques
Definition
P-Tuning (או Prompt Tuning) היא טכניקה המיועדת להתאים מודלי שפה גדולים מאומנים מראש למשימות ספציפיות עם עלות חישובית מינימלית. במקום לבצע דק-טיון של כל פרמטרי המודל, השיטה מתמקדת באופטימיזציה של וקטורים רציפים המייצגים את ההנחיות.
Summary
P-Tuning היא שיטת דק-טיון (Fine-tuning) יעילה מבחינת פרמטרים, המייעלת הטמעות פרומפט רציפות במקום לעדכן את כל משקולות המודל המאומן מראש.
Key Concepts
- דק-טיון יעיל מבחינת פרמטרים
- אסימונים וירטואליים
- משקולות קפואות
- אופטימיזציית הטמעות
Use Cases
- התאמה ללמידה במספר דוגמאות מועט (Few-shot learning)
- סביבות עם משאבים מוגבלים
- אבטיפוס מהיר של אפליקציות LLM