学习率

term_id: learning_rate

Category: training_techniques

Definition

学习率决定了在每次训练迭代中，模型权重相对于计算出的梯度更新了多少。如果学习率过高，可能导致模型在优化过程中越过最优解；如果过低，则可能导致训练收敛缓慢。

Summary

控制模型优化过程中步长的超参数，旨在最小化损失函数。

Key Concepts

  • 梯度下降
  • 超参数调优
  • 收敛
  • 优化器

Use Cases

  • 神经网络训练
  • 深度学习模型优化
  • 强化学习策略更新

Code Example

1
2
3

import torch.optim as optim
model = MyModel()
optimizer = optim.SGD(model.parameters(), lr=0.01)

Related