Distilare
term_id: distillation
Category: training_techniques
Definition
Acest proces implică transferul cunoștințelor de la o rețea neuronală ‘profesor’ complexă și cu performanțe ridicate către o rețea ‘student’ mai simplă și mai eficientă. Studentul învață nu doar din etichetele dure (hard labels), ci și din probabilitățile relative ale claselor.
Summary
Distilarea cunoștințelor este o tehnică de comprimare a modelelor în care un model student mai mic învață să imite comportamentul unui model profesor mai mare.
Key Concepts
- Arhitectură Profesor-Student
- Ținte moi (Soft Targets)
- Comprimarea modelului
- Eficiența inferenței
Use Cases
- Implementarea modelelor lingvistice mari pe dispozitive mobile
- Reducerea latenței în aplicațiile de viziune computerizată în timp real
- Optimizarea modelelor de învățare profundă pentru medii de calcul la marginea rețelei (edge computing)