Oříznutí (Clipping)
term_id: clip
Category: engineering_practice
Definition
V inženýrství hlubokého učení se oříznutí běžně aplikuje na gradienty, aby se zmírnil problém explodujících gradientů a zajistila stabilní zpětná propagace. Může také znamenat omezení výstupních logit před
Summary
Oříznutí je technika používaná k omezení velikosti hodnot, jako jsou gradienty nebo pravděpodobnosti výstupů, aby se zabránilo numerické nestabilitě během tréninku.
Key Concepts
- Oříznutí gradientu
- Numerická stabilita
- Explodující gradienty
- Regularizace
Use Cases
- Trénink rekurentních neuronových sítí
- Stabilizace tréninku transformátorů
- Prevence divergence ztráty