Clip (Taglio/Clipping)
term_id: clip
Category: engineering_practice
Definition
Nell’ingegneria del deep learning, il clipping viene comunemente applicato ai gradienti per mitigare il problema del gradiente esplosivo, garantendo una backpropagation stabile. Può anche riferirsi al limite imposto ai logit di output prima di
Summary
Il clipping è una tecnica utilizzata per limitare la magnitudine dei valori, come i gradienti o le probabilità di output, per prevenire instabilità numerica durante l’addestramento.
Key Concepts
- Gradient Clipping (Taglio dei gradienti)
- Stabilità Numerica
- Gradienti Esplosivi
- Regolarizzazione
Use Cases
- Addestramento di reti neurali ricorrenti
- Stabilizzazione dell’addestramento dei transformer
- Prevenzione della divergenza della perdita