P-Tuning
term_id: p_tuning
Category: training_techniques
Definition
A P-Tuning (Prompt Tuning) egy technika, amelyet arra terveztek, hogy nagy előre tanított nyelvi modelleket minimális számítási költséggel igazítsanak specifikus feladatokhoz. Ehelyett, hogy az összes modellparamétert finomhangolnák, csak a promptokhoz tartozó vektorokat optimalizálják.
Summary
A P-Tuning egy paraméterhatékony finomhangolási módszer, amely nem a teljes előre tanított modell súlyait frissíti, hanem a folytonos prompt beágyazásokat (embeddings) optimalizálja.
Key Concepts
- Paraméterhatékony finomhangolás
- Virtuális tokenek
- Fagyasztott súlyok
- Beágyazás optimalizálás
Use Cases
- Kevés mintás tanulás (few-shot learning) alkalmazása
- Erőforrás-korlátozott környezetek
- LLM alkalmazások gyors prototípuskészítése