Distillazione
term_id: distillation
Category: training_techniques
Definition
Questo processo prevede il trasferimento della conoscenza da una rete neurale ‘insegnante’ complessa e ad alte prestazioni a una rete ‘studente’ più semplice ed efficiente. Lo studente impara non solo dalle etichette rigide (hard labels), ma anche dalle distribuzioni di probabilità morbide (soft targets) generate dall’insegnante, catturando relazioni più ricche tra le classi.
Summary
La distillazione della conoscenza è una tecnica di compressione del modello in cui un modello studente più piccolo imita il comportamento di un modello insegnante più grande.
Key Concepts
- Architettura Insegnante-Studente
- Target Morbidi (Soft Targets)
- Compressione del Modello
- Efficienza di Inferenza
Use Cases
- Implementazione di grandi modelli linguistici su dispositivi mobili
- Riduzione della latenza nelle applicazioni di visione artificiale in tempo reale
- Ottimizzazione dei modelli di deep learning per ambienti di edge computing