Mecanismo de Atenção
term_id: attention_mechanism
Category: basic_concepts
Definition
Um mecanismo de atenção permite que um modelo avalie dinamicamente a importância de diferentes elementos dentro de uma sequência de entrada. Em vez de tratar todos os dados de entrada igualmente, ele atribui níveis variados de significado às informações relevantes.
Summary
Uma técnica que permite que redes neurais se concentrem em partes específicas dos dados de entrada ao produzir saídas.
Key Concepts
- Autoatenção
- Vetores de Contexto
- Soma Ponderada
- Arquitetura Transformer
Use Cases
- Modelos de tradução automática
- Geração de legendas para imagens
- Resumização de texto