裁剪
term_id: clip
Category: engineering_practice
Definition
在深度学习工程中，裁剪通常应用于梯度以缓解梯度爆炸问题，确保反向传播的稳定性。它也可以指在应用激活函数之前限制输出 logits 的范围。
Summary
裁剪是一种限制数值（如梯度或输出概率）幅度的技术，旨在防止训练过程中的数值不稳定。
Key Concepts
- 梯度裁剪
- 数值稳定性
- 梯度爆炸
- 正则化
Use Cases
- 循环神经网络训练
- 稳定 Transformer 训练
- 防止损失发散