レート

term_id: rate

Category: basic_concepts

Definition

AIにおいて「レート」は最も頻繁に学習率を指し、これはモデルの重みが更新されるたびに推定されたエラーに応じてモデルをどの程度変更するかを制御するハイパーパラメータです。レートが

Summary

頻度や速度の測定値。最適化における学習率や、トークン生成速度を指すことが一般的です。

Key Concepts

  • 学習率
  • 最適化
  • スループット
  • ハイパーパラメータ

Use Cases

  • 勾配降下法の最適化調整
  • API使用制限の監視
  • 推論レイテンシーの計測

Code Example

1
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)