Lottery ticket-hypothese
term_id: lottery_ticket_hypothesis
Category: basic_concepts
Definition
De Lottery Ticket Hypothesis suggereert dat binnen een groot, willekeurig geïnitialiseerd neurale netwerk een spaarzaam subnetwerk bestaat (het ‘winnende lot’) dat goed geïnitialiseerd is voor training. Door het prunen (verwijderen) van niet-essentiële gewichten en het opnieuw trainen van dit subnetwerk vanaf de originele initialisatie, kan men een efficiënter model bereiken met vergelijkbare prestaties.
Summary
De theorie dat dichte neurale netwerken kleinere subnetwerken bevatten die, wanneer geïsoleerd getraind vanaf de initiële gewichten, dezelfde nauwkeurigheid kunnen bereiken als het oorspronkelijke netwerk.
Key Concepts
- Gewicht-pruning
- Spaarzame netwerken
- Modelcompressie
- Initialisatiegevoeligheid
Use Cases
- Implementeren van lichtgewicht modellen op randapparatuur
- Verminderen van rekenkosten tijdens training
- Versnellen van inferentiesnelheden