Clipning
term_id: clip
Category: engineering_practice
Definition
Inden for dyb læring anvendes clipning almindeligvis på gradienter for at afhjælpe problemet med eksploderende gradienter og sikre stabil bagudpropagering. Det kan også referere til at begrænse output-logits før
Summary
Clipning er en teknik, der bruges til at begrænse størrelsen af værdier, såsom gradienter eller output-sandsynligheder, for at forhindre numerisk ustabilitet under træningen.
Key Concepts
- Gradientclipning
- Numerisk stabilitet
- Eksploderende gradienter
- Regularisering
Use Cases
- Træning af rekurrente neurale netværk
- Stabilisering af transformer-træning
- Forebyggelse af divergens i tabfunktionen