クリップ
term_id: clip
Category: engineering_practice
Definition
ディープラーニングエンジニアリングにおいて、クリッピングは一般的に勾配に適用され、爆発的勾配問題を緩和して逆伝播の安定性を確保します。また、出力ロジットを制限することを指すこともあります
Summary
クリッピングは、トレーニング中の数値的不安定性を防ぐため、勾配や出力確率などの値の大きさを制限する技術です。
Key Concepts
- 勾配クリッピング
- 数値的安定性
- 爆発的勾配
- 正則化
Use Cases
- 再帰型ニューラルネットワークのトレーニング
- トランスフォーマーのトレーニング安定化
- 損失の発散防止