Απόκλιση
term_id: divergence
Category: basic_concepts
Definition
Στο πλαίσιο της βελτιστοποίησης, η απόκλιση συμβαίνει όταν οι παράμετροι ενός μοντέλου ενημερώνονται με τρόπο που προκαλεί αύξηση των απωλειών αντί για μείωση, οδηγώντας συχνά σε τιμές NaN (Not a Number) ή άπειρες κλίσεις.
Summary
Η απόκλιση αναφέρεται στην αποτυχία της συνάρτησης απωλειών ενός αλγορίθμου μηχανικής μάθησης να μειωθεί κατά την εκπαίδευση, με αποτέλεσμα ασταθή ή επιδεινούμενη απόδοση.
Key Concepts
- Έκρηξη Απωλειών (Loss Explosion)
- Ευαισθησία Ρυθμού Μάθησης
- Ασταθεια Κλίσεων
- Αριθμητική Ακρίβεια
Use Cases
- Αποσφαλμάτωση βρόχων εκπαίδευσης σε πλαίσια βαθιάς μάθησης
- Ρύθμιση υπερπαραμέτρων για σταθερή σύγκλιση
- Υλοποίηση στρατηγικών περικοπής κλίσεων (gradient clipping)