Hypothèse du billet de loterie
term_id: lottery_ticket_hypothesis
Category: basic_concepts
Definition
L’hypothèse du billet de loterie suggère qu’au sein d’un grand réseau neuronal initialement aléatoire, il existe un sous-réseau clairsemé (le « billet gagnant ») qui est bien initialisé pour l’entraînement. En élaguant systématiquement les poids non essentiels et en réentraînant ce sous-réseau, on peut obtenir des performances comparables au réseau dense initial, mais avec beaucoup moins de paramètres et de coûts de calcul.
Summary
La théorie selon laquelle les réseaux neuronaux denses contiennent de sous-réseaux plus petits qui, lorsqu’ils sont entraînés isolément depuis leur initialisation, peuvent atteindre la même précision que le réseau original.
Key Concepts
- Élagage de poids
- Réseaux clairsemés
- Compression de modèle
- Sensibilité à l’initialisation
Use Cases
- Déploiement de modèles légers sur des appareils edge
- Réduction des coûts computationnels lors de l’entraînement
- Accélération des vitesses d’inférence