Lottospelshypotesen
term_id: lottery_ticket_hypothesis
Category: basic_concepts
Definition
Lottospelshypotesen föreslår att inom ett stort, slumpmässigt initialiserat neutralt nätverk finns ett glesare delnätverk (den ‘vinnande lappen’) som är välinitialiserat för träning. Genom att klippa bort onödiga vikter och återträna detta delnätverk från ursprungstillståndet kan man uppnå samma prestanda som det fullständiga nätverket, men med betydligt färre parametrar.
Summary
Teorin om att täta neurala nätverk innehåller mindre delnätverk som, när de tränas isolerat från startpunkten, kan matcha originalets noggrannhet.
Key Concepts
- Viktklippning
- Glesa nätverk
- Modellkomprimering
- Initialiseringsoberoende
Use Cases
- Distributering av lätta modeller på kantenheter
- Minskning av beräkningskostnader under träning
- Påskyndning av inferenshastigheter