로터리 티켓 가설(Lottery ticket hypothesis)

term_id: lottery_ticket_hypothesis

Category: basic_concepts

Definition

로터리 티켓 가설은 대규모로 무작위 초기화된 신경망 내에 학습에 잘 적합된 희소 부분 신경망(‘당첨 티켓’)이 존재한다고 제안합니다. 가지치기를 통해

Summary

밀집 신경망에는 초기화 상태에서 독립적으로 훈련될 때 원래 네트워크의 정확도와 맞먹을 수 있는 더 작은 부분 신경망이 포함되어 있다는 이론.

Key Concepts

가중치 가지치기(Weight pruning)
희소 네트워크(Sparse networks)
모델 압축(Model compression)
초기화 민감도(Initialization sensitivity)

Use Cases

엣지 장치에 경량 모델 배포
학습 중 계산 비용 절감
추론 속도 가속화