Ipoteza biletului de loterie
term_id: lottery_ticket_hypothesis
Category: basic_concepts
Definition
Ipoteza Biletului de Loterie sugerează că, într-o rețea neuronală mare, inițializată aleatoriu, există o subrețea rară („biletul câștigător”) care este bine inițializată pentru antrenament. Prin eliminarea ponderilor neimportante (pruning) și antrenarea acestei subrețele de la zero, se poate obține o precizie comparabilă cu cea a rețelei originale, dar cu mult mai puți parametri.
Summary
Teoria conform căreia rețelele neurone dense conțin subrețele mai mici care, antrenate izolat de la inițializare, pot atinge acuratețea rețelei originale.
Key Concepts
- Tăierea ponderilor
- Rețele rare
- Compresia modelelor
- Sensibilitatea la inițializare
Use Cases
- Implementarea modelelor ușoare pe dispozitive edge
- Reducerea costurilor computaționale în timpul antrenamentului
- Accelerarea vitezelor de inferență