Hipoteza loterii
term_id: lottery_ticket_hypothesis
Category: basic_concepts
Definition
Hipoteza Loterii sugeruje, że w dużej, losowo zainicjowanej sieci neuronowej istnieje rzadka podsieć (tzw. „wygrywający bilet”), która jest dobrze zainicjowana do treningu. Poprzez przycinanie (pruning) nieistotnych wag można wyodrębnić tę podsieć, która po ponownym treningu od początkowej inicjalizacji osiąga wydajność równą pełnej sieci, co prowadzi do kompresji modelu bez utraty jakości.
Summary
Teoria głosząca, że gęste sieci neuronowe zawierają mniejsze podsieci, które po wytrenowaniu od zera mogą osiągnąć dokładność porównywalną z oryginalną siecią.
Key Concepts
- Przycinanie wag
- Sieci rzadkie
- Kompresja modeli
- Czułość inicjalizacji
Use Cases
- Wdrażanie lekkich modeli na urządzeniach brzegowych (edge devices)
- Redukcja kosztów obliczeniowych podczas treningu
- Przyspieszenie prędkości wnioskowania (inference)