Tudásdistilláció
term_id: distillation
Category: training_techniques
Definition
Ez a folyamat a tudás átvitelét jelenti egy komplex, nagy teljesítményű ’tanár’ neurális hálózatról egy egyszerűbb, hatékonyabb ‘diák’ hálózatra. A diák nem csak a szigorú címkékből (hard labels), hanem a tanár modell kimeneteiből is tanul, ami gazdagabb információt tartalmaz az osztályok közötti kapcsolatokról.
Summary
A tudásdistilláció egy modellkompressziós technika, amelyben egy kisebb diákmodell tanul meg utánozni egy nagyobb tanármodell viselkedését.
Key Concepts
- Tanár-Diák architektúra
- Puha célok (Soft targets)
- Modellkompresszió
- Inferencia-hatékonyság
Use Cases
- Nagy nyelvi modellek telepítése mobil eszközökre
- Késleltetés csökkentése valós idejű számítógépes látási alkalmazásokban
- Mélytanulási modellek optimalizálása szélsőszámi (edge) környezetekhez