Lotteribillet-hypotesen
term_id: lottery_ticket_hypothesis
Category: basic_concepts
Definition
Lotteribillet-hypotesen antyder, at inden for et stort, tilfældigt initialiseret neuralt netværk findes der et sparsomt subnetværk (den ‘vindende billet’), der er godt initialiseret til træning. Ved at fjerne unødvendige vægte (pruning) og genstarte træningen af dette mindre netværk, kan man opnå præstationer, der er sammenlignelige med det fulde netværk, hvilket reducerer beregningsomkostninger.
Summary
Teorien om, at tætte neurale netværk indeholder mindre subnetværk, der, når de trænes isoleret fra starttilstanden, kan matche den oprindelige netværks nøjagtighed.
Key Concepts
- Vægt-pruning
- Sparsomme netværk
- Modelkomprimering
- Initialiseringssensitivitet
Use Cases
- Udrulning af letvægtsmodeller på edge-enheder
- Reduktion af beregningsomkostninger under træning
- Hastighedsøgning af inferenshastigheder