Recorte (Clipping)
term_id: clip
Category: engineering_practice
Definition
En la ingeniería del aprendizaje profundo, el recorte se aplica comúnmente a los gradientes para mitigar el problema de los gradientes explosivos, asegurando una retropropagación estable. También puede referirse a limitar los logit de salida antes de
Summary
El recorte es una técnica utilizada para limitar la magnitud de valores, como gradientes o probabilidades de salida, para evitar inestabilidad numérica durante el entrenamiento.
Key Concepts
- Recorte de Gradientes
- Estabilidad Numérica
- Gradientes Explosivos
- Regularización
Use Cases
- Entrenamiento de redes neuronales recurrentes
- Estabilización del entrenamiento de transformadores
- Prevención de la divergencia de la pérdida