Hypotéza o loterii
term_id: lottery_ticket_hypothesis
Category: basic_concepts
Definition
Hypotéza o loterii naznačuje, že uvnitř velké, náhodně inicializované neuronové sítě existuje řídká podsítě (tzv. ‘vyhrávající lístek’), která je dobře inicializována pro trénink. Odstrihováním (pruningem) nepodstatných váh a následným trénováním této podsítě od původní inicializace lze dosáhnout přesnosti srovnatelné s původní hustou sítí. Tento jev naznačuje, že husté sítě jsou často přebytečné a že efektivní architektury lze najít přímo v rámci větších sítí.
Summary
Teorie tvrdící, že husté neuronové sítě obsahují menší podsítě, které mohou při izolovaném tréninku od počátečního stavu dosáhnout přesnosti původní sítě.
Key Concepts
- Odstranění vah (Weight pruning)
- Řídké sítě
- Kompres modelů
- Citlivost inicializace
Use Cases
- Nasazování lehkých modelů na okrajová zařízení (edge devices)
- Snížení výpočetních nákladů během tréninku
- Zrychlení rychlosti inferenčních výpočtů