Clippen
term_id: clip
Category: engineering_practice
Definition
In de deep learning-engineering wordt clippen vaak toegepast op gradiënten om het probleem van exploderende gradiënten te mitigeren, waardoor stabiele backpropagatie wordt gegarandeerd. Het kan ook verwijzen naar het beperken van uitgang-logits voordat
Summary
Clippen is een techniek die wordt gebruikt om de grootte van waarden, zoals gradiënten of uitgangswaarschijnlijkheden, te beperken om numerieke instabiliteit tijdens het trainen te voorkomen.
Key Concepts
- Gradiëntclippen
- Numerieke stabiliteit
- Exploderende gradiënten
- Regularisatie
Use Cases
- Het trainen van recurrente neurale netwerken
- Het stabiliseren van transformer-training
- Het voorkomen van divergentie van verlies