Atenție
term_id: attention
Category: training_techniques
Definition
Mecanismele de atenție permit modelelor să se concentreze pe informațiile relevante atunci când procesează intrări, în special în datele secvențiale precum textul. Prin calcularea scorurilor de atenție, modelul determină care ele…
Summary
Un mecanism care permite rețelelor neuronale să evalueze dinamic importanța diferitelor părți ale secvenței de intrare.
Key Concepts
- Auto-Atenție
- Agregare Contextuală
- Dependențe pe Termen Lung
- Arhitectura Transformator
Use Cases
- Traducere automată între limbi
- Sintetizarea documentelor lungi
- Descrierea imaginilor și răspunsul la întrebări vizuale