Hipotesis Tiket Lotere
term_id: lottery_ticket_hypothesis
Category: basic_concepts
Definition
Hipotesis Tiket Lotere menyatakan bahwa dalam jaringan saraf besar yang diinisialisasi secara acak, terdapat sub-jaringan jarang (atau ’tiket pemenang’) yang sudah memiliki inisialisasi yang baik untuk pelatihan. Dengan memangkas bobot yang tidak penting dan melatih sub-jaringan ini secara terisolasi, performa yang setara dengan jaringan penuh dapat dicapai.
Summary
Teori bahwa jaringan saraf padat mengandung sub-jaringan lebih kecil yang, ketika dilatih secara terisolasi dari inisialisasinya, dapat mencapai akurasi yang setara dengan jaringan asli.
Key Concepts
- Pemangkasan bobot
- Jaringan jarang
- Kompresi model
- Sensitivitas inisialisasi
Use Cases
- Menyebarkan model ringan pada perangkat tepi
- Mengurangi biaya komputasi selama pelatihan
- Mempercepat kecepatan inferensi