Lottójegy hipotézis
term_id: lottery_ticket_hypothesis
Category: basic_concepts
Definition
A Lottójegy Hipotézis szerint egy nagy, véletlenszerűen inicializált neurális hálózatban létezik egy ritka alhálózat (az úgynevezett ’nyertes jegy’), amely jól inicializált a tanítás szempontjából. A pruni
Summary
Az az elmélet, miszerint a sűrű neurális hálózatok kisebb alhálózatokat tartalmaznak, amelyek izoláltan, az inicializációtól kezdve betanítva képesek megközelíteni az eredeti hálózat pontosságát.
Key Concepts
- Súlyok metszése
- Ritka hálózatok
- Modell tömörítés
- Inicializáció érzékenysége
Use Cases
- Könnyű modellek telepítése él-eszközökre
- A számítási költségek csökkentése a tanítás során
- Az inferencia sebességének gyorsítása