Destilace
term_id: distillation
Category: training_techniques
Definition
Tento proces zahrnuje přenos znalostí ze složitého, vysoce výkonného neuronového sítě ‘učitele’ do jednodušší, efektivnější ‘studentovy’ sítě. Student se učí nejen z pevných štítků (hard labels), ale také z měkkých cílů (soft targets), které obsahují více informací o rozdělení pravděpodobnosti tříd.
Summary
Destilace znalostí je technika komprese modelu, při které se menší model studenta učí napodobovat chování většího modelu učitele.
Key Concepts
- Architektura Učitel-Student
- Měkké cíle (Soft Targets)
- Komprese modelu
- Efektivita inference
Use Cases
- Nasazování velkých jazykových modelů na mobilní zařízení
- Snížení latence v aplikacích počítačového vidění v reálném čase
- Optimalizace hlubokých učebních modelů pro prostředí okrajových výpočtů (edge computing)