Tingkat Pembelajaran

term_id: learning_rate

Category: training_techniques

Definition

Tingkat pembelajaran menentukan seberapa besar bobot model diperbarui relatif terhadap gradien yang dihitung selama setiap iterasi pelatihan. Tingkat yang terlalu tinggi dapat menyebabkan model melewatasi optimum, sedangkan tingkat yang terlalu rendah dapat membuat pelatihan menjadi sangat lambat atau terjebak dalam minimum lokal.

Summary

Hiperparameter yang mengontrol ukuran langkah selama optimisasi model untuk meminimalkan fungsi kerugian.

Key Concepts

  • Penurunan Gradien
  • Penyetelan Hiperparameter
  • Konvergensi
  • Pengoptimal

Use Cases

  • Pelatihan jaringan saraf
  • Optimisasi model pembelajaran mendalam
  • Pembaruan kebijakan pembelajaran penguatan

Code Example

1
2
3

import torch.optim as optim
model = MyModel()
optimizer = optim.SGD(model.parameters(), lr=0.01)

Related