宝くじ仮説
term_id: lottery_ticket_hypothesis
Category: basic_concepts
Definition
宝くじ仮説は、大きくランダムに初期化されたニューラルネットワークの中に、学習に適した初期状態を持つスパースなサブネットワーク（当選チケット）が存在すると示唆しています。これを剪定（プルーニング）し…
Summary
密なニューラルネットワークには、初期化状態から孤立して学習させることで元のネットワークと同等の精度を出せる小さなサブネットワークが含まれているという理論。
Key Concepts
- 重み剪定
- スパースネットワーク
- モデル圧縮
- 初期化感度
Use Cases
- エッジデバイスへの軽量モデルの展開
- 学習時の計算コスト削減
- 推論速度の加速