Klippning
term_id: clip
Category: engineering_practice
Definition
Innen dyp læringsteknikk brukes klippning vanligvis på gradienter for å dempe problemet med eksploderende gradienter, noe som sikrer stabil tilbakepropagasjon. Det kan også referere til å begrense utgangslogitter før
Summary
Klippning er en teknikk brukt til å begrense størrelsen på verdier, slik som gradienter eller utgangssannsynligheter, for å forhindre numerisk ustabilitet under trening.
Key Concepts
- Gradientklippning
- Numerisk stabilitet
- Eksploderende gradienter
- Regularisering
Use Cases
- Trening av rekurrente neurale nettverk
- Stabilisering av transformer-trening
- Forebygging av tap-divergens