P-Tuning
term_id: p_tuning
Category: training_techniques
Definition
P-Tuning (Prompt Tuning) on tekniikka, joka on suunniteltu mukauttamaan suuria esikoulutettuja kielimalleja tiettyihin jälkikäyttötehtäviin minimaalisella laskennallisella kustannuksella. Sen sijaan, että kaikkia mallin parametreja hienosäädettäisiin,
Summary
P-Tuning on parametreja tehokas hienosäätömenetelmä, joka optimoi jatkuvia kehotteen upotuksia sen sijaan, että koko esikoulutetun mallin painoja päivitettäisiin.
Key Concepts
- Parametreja tehokas hienosäätö
- Virtuaalitunnisteet
- Jäädytetyt painot
- Upotuksen optimointi
Use Cases
- Harvoin näytteiseen oppimiseen sopeutuminen
- Resurssirajoitteiset ympäristöt
- Suurten kielimallisovellusten nopea prototyyppien luonti