学習率

term_id: learning_rate

Category: training_techniques

Definition

学習率は、各トレーニング反復中に計算された勾配に対してモデルの重みがどの程度更新されるかを決定します。学習率が大きすぎるとモデルが最適解を見逃す可能性があり、小さすぎると学習収束に時間がかかりすぎます。

Summary

損失関数を最小化するためのモデル最適化過程におけるステップサイズを制御するハイパーパラメータ。

Key Concepts

  • 勾配降下法
  • ハイパーパラメータチューニング
  • 収束
  • オプティマイザ

Use Cases

  • ニューラルネットワークのトレーニング
  • ディープラーニングモデルの最適化
  • 強化学習のポリシー更新

Code Example

1
2
3

import torch.optim as optim
model = MyModel()
optimizer = optim.SGD(model.parameters(), lr=0.01)

Related