Divergenza
term_id: divergence
Category: basic_concepts
Definition
Nel contesto dell’ottimizzazione, la divergenza si verifica quando i parametri di un modello vengono aggiornati in modo tale da far aumentare anziché diminuire la perdita, portando spesso a valori NaN (Not a Number) o a gradienti infiniti. Ciò indica che l’algoritmo non sta convergendo verso un minimo locale o globale.
Summary
La divergenza si riferisce al fallimento della funzione di perdita di un algoritmo di machine learning nel diminuire durante l’addestramento, risultando in prestazioni instabili o peggiorate.
Key Concepts
- Esplosione della Perdita
- Sensibilità del Tasso di Apprendimento
- Instabilità del Gradiente
- Precisione Numerica
Use Cases
- Debug dei loop di addestramento nei framework di deep learning
- Regolazione degli iperparametri per garantire una convergenza stabile
- Implementazione di strategie di clipping del gradiente per prevenire esplosioni