Taxa de Aprendizado

term_id: learning_rate

Category: training_techniques

Definition

A taxa de aprendizado determina em quanto os pesos do modelo são atualizados em relação ao gradiente calculado durante cada iteração de treinamento. Uma taxa muito alta pode fazer com que o modelo ultrapasse o ótimo.

Summary

Um hiperparâmetro que controla o tamanho do passo durante a otimização do modelo para minimizar a função de perda.

Key Concepts

  • Descida do Gradiente
  • Ajuste de Hiperparâmetros
  • Convergência
  • Otimizador

Use Cases

  • Treinamento de redes neurais
  • Otimização de modelos de deep learning
  • Atualizações de política em aprendizado por reforço

Code Example

1
2
3

import torch.optim as optim
model = MyModel()
optimizer = optim.SGD(model.parameters(), lr=0.01)

Related