Autoatenção

term_id: self_attention

Category: basic_concepts

Definition

A autoatenção permite que os modelos capturem dependências entre todas as posições em uma sequência simultaneamente, independentemente da distância. Ao calcular escores de atenção entre cada par de tokens, ele permite

Summary

Um mecanismo que permite a uma rede neural pesar a importância de diferentes partes da sequência de entrada em relação às outras.

Key Concepts

  • Consulta-Chave-Valor
  • Escores de Atenção
  • Ponderação Contextual
  • Processamento Paralelo

Use Cases

  • Tradução automática
  • Resumo de texto
  • Classificação de imagens por meio de Vision Transformers

Code Example

1
2

import torch.nn as nn
attn = nn.MultiheadAttention(embed_dim=512, num_heads=8)

Related