Arpajaislippuhypoteesi
term_id: lottery_ticket_hypothesis
Category: basic_concepts
Definition
Arpajaislippuhypoteesi ehdottaa, että suuresta satunnaisesti alustetusta neuroverkosta löytyy harva aliverkosto (‘voittava lippu’), joka on hyvin alustettu koulutusta varten. Leikkaamalla (pruning) muut painot pois ja kouluttamalla jäljelle jäävä aliverkosto alusta alkaen, voidaan saavuttaa sama suorituskyky kuin alkuperäisessä tiheässä verkossa, mikä mahdollistaa tehokkaamman mallin.
Summary
Teoria, jonka mukaan tiheissä neuroverkoissa on pienempiä aliverkostoja, jotka pystyvät saavuttamaan alkuperäisen verkon tarkkuuden, kun niitä koulutetaan eristyksissä alustuksesta alkaen.
Key Concepts
- Painojen leikkaus
- Harvat verkostot
- Mallin pakkaus
- Alustusherkkyys
Use Cases
- Kevyiden mallien käyttöönotto reunalaitelaitteissa
- Laskentakustannusten vähentäminen koulutuksen aikana
- Johtopäätöksenteon nopeuttaminen