Destylacja
term_id: distillation
Category: training_techniques
Definition
Proces ten polega na przenoszeniu wiedzy ze złożonej, wydajnej sieci neuronowej ’nauczyciela’ do prostszej, bardziej efektywnej sieci ‘ucznia’. Uczeń uczy się nie tylko z twardych etykiet (hard labels), ale także z miękich prawdopodobieństw klas, co pozwala mu lepiej uchwycić relacje między kategoriami.
Summary
Destylacja wiedzy to technika kompresji modelu, w której mniejszy model uczeń uczy się naśladować zachowanie większego modelu nauczyciela.
Key Concepts
- Architektura Nauczyciel-Uczeń
- Miękkie etykiety (Soft Targets)
- Kompresja modelu
- Wydajność wnioskowania
Use Cases
- Wdrażanie dużych modeli językowych na urządzenia mobilne
- Redukcja opóźnień w aplikacjach komputerowego widzenia w czasie rzeczywistym
- Optymalizacja modeli uczenia głębokiego dla środowisk obliczeń brzegowych (edge computing)