Distillatie
term_id: distillation
Category: training_techniques
Definition
Knowledgedistillatie is een techniek voor modelcompressie waarbij een kleiner ‘student’-model leert om het gedrag van een groter ’leraar’-model na te bootsen.
Summary
Knowledge distillation is a model compression technique where a smaller student model learns to mimic the behavior of a larger teacher model.
Key Concepts
- Leraar-studentarchitectuur
- Zachte labels (soft targets)
- Modelcompressie
- Efficiëntie bij inferentie
Use Cases
- Het implementeren van grote taalmodellen op mobiele apparaten
- Het verminderen van latentie in real-time computervisie-toepassingen
- Het optimaliseren van diepe leermodellen voor edge-computingomgevingen