Υπόθεση του Λοταριού
term_id: lottery_ticket_hypothesis
Category: basic_concepts
Definition
Η Υπόθεση του Λοταριού προτείνει ότι μέσα σε ένα μεγάλο, τυχαία αρχικοποιημένο νευρωνικό δίκτυο, υπάρχει ένα αραιό υποδίκτυο (το «κερδισμένο εισιτήριο») που είναι καλά αρχικοποιημένο για εκπαίδευση. Κλαδεύοντας τα περιττά βάρη και εκπαιδεύοντας μόνο αυτό το υποδίκτυο από την αρχική του κατάσταση, μπορεί να επιτευχθεί απόδοση συγκρίσιμη με αυτή του πλήρους δικτύου, προσφέροντας αποτελεσματική συμπίεση μοντέλου.
Summary
Η θεωρία ότι οι πυκνές νευρωνικές retiς περιέχουν μικρότερα υποδίκτυα που, όταν εκπαιδεύονται μόνα τους από την αρχική κατάσταση, μπορούν να φτάσουν την ακρίβεια του αρχικού δικτύου.
Key Concepts
- Κλάδευμα βαρών
- Αραιά δίκτυα
- Συμπίεση μοντέλου
- Ευαισθησία αρχικοποίησης
Use Cases
- Τοποθέτηση ελαφριών μοντέλων σε συσκευές άκρου (edge devices)
- Μείωση υπολογιστικού κόστους κατά την εκπαίδευση
- Επιτάχυνση ταχυτήτων συμπερασματολογίας (inference)