Atenção
term_id: attention
Category: training_techniques
Definition
Os mecanismos de atenção permitem que os modelos se concentrem nas informações relevantes ao processar entradas, especialmente em dados sequenciais como texto. Ao calcular pontuações de atenção, o modelo determina quais eleme…
Summary
Um mecanismo que permite às redes neurais pesar a importância de diferentes partes da sequência de entrada dinamicamente.
Key Concepts
- Autoatenção
- Ponderação Contextual
- Dependências de Longo Alcance
- Arquitetura Transformer
Use Cases
- Tradução automática entre idiomas
- Resumo de documentos longos
- Legenda de imagens e resposta a perguntas visuais