Скорость обучения

term_id: learning_rate

Category: training_techniques

Definition

Скорость обучения определяет, насколько сильно веса модели обновляются относительно вычисленного градиента на каждой итерации обучения. Слишком высокая скорость может привести к тому, что модель пропустит оптимальную точку (overshoot), а слишком низкая — замедлит сходимость или приведет к застреванию в локальных минимумах.

Summary

Гиперпараметр, контролирующий размер шага при оптимизации модели для минимизации функции потерь.

Key Concepts

  • Градиентный спуск
  • Настройка гиперпараметров
  • Сходимость
  • Оптимизатор

Use Cases

  • Обучение нейронных сетей
  • Оптимизация моделей глубокого обучения
  • Обновление политик в обучении с подкреплением

Code Example

1
2
3

import torch.optim as optim
model = MyModel()
optimizer = optim.SGD(model.parameters(), lr=0.01)

Related