Ipotesi del biglietto vincente
term_id: lottery_ticket_hypothesis
Category: basic_concepts
Definition
L’Ipotesi del Biglietto Vincente suggerisce che all’interno di una grande rete neurale inizializzata casualmente esista una sotto-rete sparsa (il ‘biglietto vincente’) che è ben inizializzata per l’addestramento. Mediante la potatura
Summary
La teoria secondo cui le reti neurali dense contengono sotto-reti più piccole che, se addestrate isolatamente a partire dall’inizializzazione, possono eguagliare l’accuratezza della rete originale.
Key Concepts
- Potatura dei pesi
- Reti sparse
- Compressione del modello
- Sensibilità all’inizializzazione
Use Cases
- Implementazione di modelli leggeri su dispositivi edge
- Riduzione dei costi computazionali durante l’addestramento
- Accelerazione delle velocità di inferenza