Clipping (Limitação)
term_id: clip
Category: engineering_practice
Definition
Na engenharia de aprendizado profundo, o clipping é comumente aplicado aos gradientes para mitigar o problema de gradientes explosivos, garantindo uma retropropagação estável. Também pode se referir à limitação das logit de saída antes da aplicação da função de ativação.
Summary
O clipping é uma técnica usada para limitar a magnitude de valores, como gradientes ou probabilidades de saída, para evitar instabilidade numérica durante o treinamento.
Key Concepts
- Limitação de Gradiente
- Estabilidade Numérica
- Gradientes Explosivos
- Regularização
Use Cases
- Treinamento de redes neurais recorrentes
- Estabilização do treinamento de transformadores
- Prevenção de divergência da perda