Divergence
term_id: divergence
Category: basic_concepts
Definition
V kontextu optimalizace dochází k divergenci, když se parametry modelu aktualizují způsobem, který způsobuje růst ztráty místo jejího poklesu, což často vede k hodnotám NaN (not a number) nebo nekonečným gradientům, obvykle kvůli příliš vysoké rychlosti učení.
Summary
Divergence označuje selhání funkce ztráty algoritmu strojového učení snižovat se během tréninku, což vede k nestabilnímu nebo zhoršujícímu se výkonu.
Key Concepts
- Exploze ztráty
- Citlivost na rychlost učení
- Nestabilita gradientu
- Číselná přesnost
Use Cases
- Ladění tréninkových smyček v rámcích hlubokého učení
- Tunování hyperparametrů pro stabilní konvergenci
- Implementace strategií oříznutí gradientu (gradient clipping)