Hipótese do Bilhete de Loteria
term_id: lottery_ticket_hypothesis
Category: basic_concepts
Definition
A Hipótese do Bilhete de Loteria sugere que dentro de uma grande rede neural inicializada aleatoriamente, existe uma sub-rede esparsa (o ‘bilhete vencedor’) que é bem inicializada para o treinamento. Ao podar
Summary
A teoria de que redes neurais densas contêm sub-redes menores que, quando treinadas isoladamente a partir da inicialização, podem igualar a precisão da rede original.
Key Concepts
- Poda de pesos
- Redes esparsas
- Compressão de modelos
- Sensibilidade à inicialização
Use Cases
- Implantar modelos leves em dispositivos de borda
- Reduzir custos computacionais durante o treinamento
- Acelerar velocidades de inferência