Prompt Tuning
term_id: prompt_tuning
Category: training_techniques
Definition
Prompt tuning houdt in dat trainbare ‘zachte prompts’ (continue vectoren) worden toegevoegd aan de invoerlaag van een voorge训练d taalmodel, terwijl de onderliggende modelparameters bevroren blijven. Deze aanpak maakt het mogelijk…
Summary
Een parameter-efficiënte fine-tuning methode die continue invoerembeddings optimaliseert in plaats van de volledige modelgewichten bij te werken.
Key Concepts
- zachte prompts
- parameter-efficiëntie
- bevroren gewichten
- few-shot learning
Use Cases
- Aanpassen van LLM’s voor specifieke domeinen
- Fine-tuning met weinig gegevens
- Optimalisatie van multi-task learning