Mecanism de Atenție
term_id: attention_mechanism
Category: basic_concepts
Definition
Un mecanism de atenție permite unui model să evalueze dinamic importanța diferitelor elemente dintr-o secvență de intrare. În loc să trateze toate datele de intrare în mod egal, acesta atribuie niveluri variate de semnificație
Summary
O tehnică care permite rețelelor neuronale să se concentreze pe anumite părți ale datelor de intrare atunci când generează ieșirile.
Key Concepts
- Auto-Atenție
- Vectori de Context
- Sumă Ponderată
- Arhitectura Transformer
Use Cases
- Modele de traducere automată
- Generarea de descrieri pentru imagini
- Sinteza textului