Ocinanie (Clipping)
term_id: clip
Category: engineering_practice
Definition
W inżynierii uczenia głębokiego ocinanie jest powszechnie stosowane do gradientów, aby złagodzić problem wybuchających gradientów, zapewniając stabilną propagację wsteczną. Może również odnosić się do ograniczania logitów wyjściowych przed
Summary
Ocinanie to technika służąca do ograniczania wartości bezwędnych, takich jak gradienty lub prawdopodobieństwa wyjściowe, w celu zapobiegania niestabilności numerycznej podczas szkolenia.
Key Concepts
- Ocinanie gradientów
- Stabilność numeryczna
- Wybuchające gradienty
- Regularizacja
Use Cases
- Szkolenie rekurencyjnych sieci neuronowych
- Ustalanie stabilności szkolenia transformatorów
- Zapobieganie rozbieżnościom funkcji straty