P-Tuning
term_id: p_tuning
Category: training_techniques
Definition
P-Tuning (Prompt Tuning) er en teknikk designet for å tilpasse store forhåndstrengte språkmodeller til spesifikke nedstrømsoppgaver med minimal beregningskostnad. I stedet for å finjustere alle modellparametrene…
Summary
P-Tuning er en parameter-effektiv finjusteringsmetode som optimaliserer kontinuerlige prompt-embeddings i stedet for å oppdatere hele de forhåndstrengte modellvektene.
Key Concepts
- Parameter-effektiv finjustering
- Virtuelle token
- Frosne vekter
- Embedding-optimalisering
Use Cases
- Tilpasning for få-eksempelslæring (few-shot learning)
- Miljøer med begrensede ressurser
- Rask prototyping av LLM-applikasjoner