Lottery-Ticket-Hypothese
term_id: lottery_ticket_hypothesis
Category: basic_concepts
Definition
Die Lottery-Ticket-Hypothese besagt, dass sich in einem großen, zufällig initialisierten neuronalen Netz ein dichtes, aber sparsames Teilnetzwerk (das ‘gewinnende Los’) befindet, das für das Training gut vorinitialisiert ist. Durch das Beschneiden unnötiger Gewichte und das Training dieses Teilnetzwerks allein kann es die Leistung des ursprünglichen, größeren Netzes übertreffen oder gleichziehen.
Summary
Die Theorie, dass dichte neuronale Netze kleinere Teilnetzwerke enthalten, die bei isoliertem Training von der Initialisierung an die Genauigkeit des ursprünglichen Netzes erreichen können.
Key Concepts
- Gewichtsschneiden
- Sparsame Netze
- Modellkompression
- Initialisierungsempfindlichkeit
Use Cases
- Bereitstellung leichtgewichtiger Modelle auf Edge-Geräten
- Reduzierung der Rechenkosten während des Trainings
- Beschleunigung der Inferenzgeschwindigkeiten