Divergência
term_id: divergence
Category: basic_concepts
Definition
No contexto de otimização, a divergência ocorre quando os parâmetros de um modelo são atualizados de tal forma que a perda aumenta em vez de diminuir, muitas vezes levando a valores NaN (Not a Number) ou gradientes infinitos.
Summary
A divergência refere-se à falha da função de perda de um algoritmo de aprendizado de máquina em diminuir durante o treinamento, resultando em desempenho instável ou pior.
Key Concepts
- Explosão da Perda (Loss Explosion)
- Sensibilidade à Taxa de Aprendizado
- Instabilidade do Gradiente
- Precisão Numérica
Use Cases
- Depuração de loops de treinamento em frameworks de aprendizado profundo
- Ajuste de hiperparâmetros para convergência estável
- Implementação de estratégias de limitação de gradiente (gradient clipping)