Attenzione
term_id: attention
Category: training_techniques
Definition
I meccanismi di attenzione permettono ai modelli di concentrarsi sulle informazioni rilevanti durante l’elaborazione degli input, in particolare nei dati sequenziali come il testo. Calcolando i punteggi di attenzione, il modello determina quali eleme
Summary
Un meccanismo che consente alle reti neurali di ponderare dinamicamente l’importanza delle diverse parti della sequenza di input.
Key Concepts
- Auto-attenzione
- Ponderazione contestuale
- Dipendenze a lungo raggio
- Architettura Transformer
Use Cases
- Traduzione automatica tra lingue
- Sintesi di documenti lunghi
- Didascalia di immagini e risposta a domande visive