Lotteribillett-hypotesen
term_id: lottery_ticket_hypothesis
Category: basic_concepts
Definition
Lotteribillett-hypotesen foreslår at innenfor et stort, tilfeldig initialisert neuralt nettverk finnes det et sparsomt delnettverk (den «vinnende billetten») som er godt initialisert for trening. Ved å fjerne unødvendige vekter (pruning) og gjenopptre dette delnettverket fra sin opprinnelige starttilstand, kan man oppnå ytelse som er sammenlignbar med det fulle nettverket, men med betydelig færre parametere.
Summary
Teorien om at tette neurale nettverk inneholder mindre delnettverk som, når de trenes isolert fra starttilstanden, kan matche nøyaktigheten til det opprinnelige nettverket.
Key Concepts
- Vekt-pruning
- Sparsomme nettverk
- Modellsammentrekking
- Initialiseringssensitivitet
Use Cases
- Utplassering av lettvægte modeller på kantenheter
- Reduksjon av beregningskostnader under trening
- Økning av inferenshastigheter