Meccanismo di Attenzione
term_id: attention_mechanism
Category: basic_concepts
Definition
Un meccanismo di attenzione permette a un modello di ponderare dinamicamente l’importanza di diversi elementi all’interno di una sequenza di input. Invece di trattare tutti i dati di input allo stesso modo, assegna livelli di sign
Summary
Una tecnica che consente alle reti neurali di concentrarsi su parti specifiche dei dati di input durante la produzione degli output.
Key Concepts
- Auto-Attenzione
- Vettori di Contesto
- Somma Ponderata
- Architettura Transformer
Use Cases
- Modelli di traduzione automatica
- Generazione di didascalie per immagini
- Riassunto di testi