Distillation
term_id: distillation
Category: training_techniques
Definition
Denne proces involverer overførsel af viden fra et komplekst, højtydende ’lærer’-neuralt netværk til et simplere, mere effektivt ’elev’-netværk. Eleven lærer ikke kun fra hårde etiketter, men også fra de bløde sandsynlighedsfordelinger, som læreren producerer.
Summary
Knowledgedistillation er en teknik til komprimering af modeller, hvor en mindre ’elev’-model lærer at efterligne adfærden hos en større ’lærer’-model.
Key Concepts
- Lærer-Elev-arkitektur
- Bløde mål (Soft Targets)
- Modelkomprimering
- Effektivitet ved inferens
Use Cases
- Udrulning af store sprogmodeller på mobile enheder
- Reduktion af latens i realtidscomputer-vision-applikationer
- Optimering af dybe læringsmodeller til edge-computing-miljøer