Ρυθμά Μάθησης

term_id: learning_rate

Category: training_techniques

Definition

Ο ρυθμός μάθησης καθορίζει κατά πόσο ενημερώνονται τα βάρη του μοντέλου σε σχέση με τον υπολογισμένο κλίση κατά κάθε επανάληψη εκπαίδευσης. Ένας ρυθμός πολύ υψηλός μπορεί να προκαλέσει στο μοντέλο να υπερβεί τα βέλτιστα σημεία, ενώ ένας πολύ χαμηλός μπορεί να επιβραδύνει σημαντικά τη σύγκλιση.

Summary

Μια υπερπαράμετρος που ελέγχει το μέγεθος του βήματος κατά τη βελτιστοποίηση του μοντέλου για τη μείωση της συνάρτησης απωλειών.

Key Concepts

  • Κλίση Φθίνουσας Μεθόδου
  • Ρύθμιση Υπερπαραμέτρων
  • Σύγκλιση
  • Βελτιστοποιητής

Use Cases

  • Εκπαίδευση νευρωνικών δικτύων
  • Βελτιστοποίηση μοντέλων βαθιάς μάθησης
  • Ενημερώσεις πολιτικής στην ενισχυτική μάθηση

Code Example

1
2
3

import torch.optim as optim
model = MyModel()
optimizer = optim.SGD(model.parameters(), lr=0.01)

Related