Instruction Tuning
term_id: instruction_tuning
Category: training_techniques
Definition
Dit proces overbrugt de kloof tussen algemene pre-training en specifieke taakprestaties. Door het model bloot te stellen aan diverse instructie-responsparen, leert het te generaliseren naar onbekende taken zonder add
Summary
Instruction tuning is een fine-tuning-techniek waarbij een vooraf getraind taalmodel wordt getraind op een dataset van instructies en hun overeenkomstige responsen om de vaardigheid om taken op te volgen te verbeteren.
Key Concepts
- Fine-tuning
- Gestuurde Leerproces (Supervised Learning)
- Zero-shot Generalisatie
- Menselijke Afstemming (Human Alignment)
Use Cases
- Het bouwen van chatbots
- Het verbeteren van de nauwkeurigheid van codegeneratie
- Modellen afstemmen op veiligheidsrichtlijnen