Distillering
term_id: distillation
Category: training_techniques
Definition
Denne prosessen involverer overføring av kunnskap fra et komplekst, høytytende «lærer»-nøyronettverk til et enklere, mer effektivt «student»-nøyronettverk. Studenten lærer ikke bare fra harde etiketter (hard labels), men også fra de sannsynlighetsfordelte utgangene fra læreren.
Summary
Kunnskapsdistillering er en teknikk for modellkomprimering der en mindre «studentmodell» lærer å etterligne oppførselen til en større «lærermodell».
Key Concepts
- Lærer-Student-arkitektur
- Målløse mål (Soft targets)
- Modellkomprimering
- Effektivitet ved inferens
Use Cases
- Distribusjon av store språkmodeller på mobile enheter
- Reduksjon av latens i sanntids datamaskinse-applikasjoner
- Optimalisering av dype læringsmodeller for edge computing-miljøer