P-Tuning
term_id: p_tuning
Category: training_techniques
Definition
P-Tuning (Prompt Tuning) este o tehnică concepută pentru a adapta modelele lingvistice mari preantrenate la sarcini specifice downstream cu un cost computațional minim. În loc să se efectueze ajustarea fină a tuturor parametrilor modelului, se optimizează doar vectorii de prompt.
Summary
P-Tuning este o metodă de ajustare fină eficientă din punct de vedere al parametrilor care optimizează încorporările continue ale prompturilor, în loc să actualizeze întregii greutăți ale modelului preantrenat.
Key Concepts
- Ajustare Fină Eficientă din Punct de Vedere al Parametrilor
- Tokeni Virtuali
- Greutăți Înghețate
- Optimizarea Încorporărilor
Use Cases
- Adaptarea pentru învățarea cu puține exemple (few-shot learning)
- Medii cu resurse limitate
- Prototipare rapidă a aplicațiilor LLM