Begränsning (Clipping)
term_id: clip
Category: engineering_practice
Definition
Inom djupinlärning appliceras clipping vanligtvis på gradienter för att mildra problemet med exploderande gradienter och säkerställa stabil backpropagation. Det kan också syfta på att begränsa utlogits innan
Summary
Clipping är en teknik som används för att begränsa storleken på värden, såsom gradienter eller sannolikhetsvärden, för att förhindra numerisk instabilitet under träningen.
Key Concepts
- Gradientbegränsning
- Numerisk stabilitet
- Exploderande gradienter
- Regularisering
Use Cases
- Träning av rekurrenta neuronnät
- Stabilisering av transformerträning
- Förhindrande av divergens i förlustfunktion