Εκχύλιση Γνώσης
term_id: distillation
Category: training_techniques
Definition
Αυτή η διαδικασία περιλαμβάνει τη μεταφορά γνώσης από ένα πολύπλοκο νευρωνικό δίκτυο υψηλής απόδοσης («δάσκαλος») σε ένα απλούστερο και πιο αποδοτικό δίκτυο («μαθητής»). Ο μαθητής μαθαίνει όχι μόνο από τις αυστηρές ετικέτες (hard labels) αλλά και από τις πιθανότητες εξόδου του δασκάλου.
Summary
Η εκχύλιση γνώσης είναι μια τεχνική συμπίεσης μοντέλου κατά την οποία ένα μικρότερο μοντέλο-μαθητής μαθαίνει να μιμείται τη συμπεριφορά ενός μεγαλύτερου μοντέλου-δασκάλου.
Key Concepts
- Αρχιτεκτονική Δασκάλου-Μαθητή
- Μαλακοί Στόχοι (Soft Targets)
- Συμπίεση Μοντέλου
- Απόδοση Συμπερασμού (Inference)
Use Cases
- Τοποθέτηση μεγάλων γλωσσικών μοντέλων σε κινητές συσκευές
- Μείωση της καθυστέρησης σε εφαρμογές οπτικής όρασης σε πραγματικό χρόνο
- Βελτιστοποίηση βαθιών μοντέλων μάθησης για περιβάλλοντα υπολογιστών άκρης (edge computing)