Clipping
term_id: clip
Category: engineering_practice
Definition
Im Deep-Learning-Engineering wird Clipping häufig auf Gradienten angewendet, um das Problem explodierender Gradienten abzumildern und eine stabile Rückwärtspropagierung sicherzustellen. Es kann sich auch auf die Begrenzung von Ausgabelogits vor beziehen
Summary
Clipping ist eine Technik zur Begrenzung der Größe von Werten, wie zum Beispiel Gradienten oder Ausgabewahrscheinlichkeiten, um numerische Instabilität während des Trainings zu verhindern.
Key Concepts
- Gradienten-Clipping
- Numerische Stabilität
- Explodierende Gradienten
- Regularisierung
Use Cases
- Training rekurrenter neuronaler Netze
- Stabilisierung des Transformer-Trainings
- Verhinderung der Verlustdivergenz