P-Tuning
term_id: p_tuning
Category: training_techniques
Definition
P-Tuning (Prompt Tuning) is een techniek ontworpen om grote voorgekochte taalmodellen met minimale rekenkosten aan te passen aan specifieke downstream-taken. In plaats van alle modelparameters te fine-tunen,
Summary
P-Tuning is een parameter-efficiënte fine-tuningmethode die continue prompt-embeddings optimaliseert in plaats van de volledige gewichten van het voorgekochte model bij te werken.
Key Concepts
- Parameter-efficiënte fine-tuning
- Virtuele tokens
- Bevroren gewichten
- Embedding-optimalisatie
Use Cases
- Aanpassing voor few-shot learning
- Omgevingen met beperkte middelen
- Snelle prototyping van LLM-toepassingen