Öğrenme Oranı

term_id: learning_rate

Category: training_techniques

Definition

Öğrenme oranı, her eğitim yinelemesinde hesaplanan gradiente göre model ağırlıklarının ne kadar güncelleneceğini belirler. Çok yüksek bir öğrenme oranı, modelin optimum noktayı geçmesine (overshoot) neden olabilir,

Summary

Kayıp fonksiyonunu en aza indirmek için model optimizasyonu sırasında adım boyutunu kontrol eden bir hiperparametre.

Key Concepts

  • Gradyan İnişi
  • Hiperparametre Ayarı
  • Yakınsama
  • Optimizatör

Use Cases

  • Sinir ağı eğitimi
  • Derin öğrenme modeli optimizasyonu
  • Pekiştirmeli öğrenme politika güncellemeleri

Code Example

1
2
3

import torch.optim as optim
model = MyModel()
optimizer = optim.SGD(model.parameters(), lr=0.01)

Related