Ajustarea prompturilor (Prompt Tuning)
term_id: prompt_tuning
Category: training_techniques
Definition
Ajustarea prompturilor implică adăugarea de prompturi antrenabile (vectori continui) la stratul de intrare al unui model de limbaj pre-antrenat, păstrând parametrii modelului subiacent fixați. Această abordare permite adaptarea rapidă a modelelor mari fără costuri ridicate de calcul.
Summary
O metodă eficientă din punct de vedere al parametrilor pentru rafinare, care optimizează încorporările continue ale intrărilor, în loc să actualizeze întregii greutăți ale modelului.
Key Concepts
- prompturi moi (soft prompts)
- eficiență parametrică
- greutăți fixe (frozen weights)
- învățare few-shot
Use Cases
- Adaptarea modelelor de limbaj mari (LLM) pentru domenii specifice
- Rafinare cu resurse limitate
- Optimizarea învățării multi-sarcină