Autoatención

term_id: self_attention

Category: basic_concepts

Definition

La autoatención permite a los modelos capturar dependencias entre todas las posiciones de una secuencia simultáneamente, independientemente de la distancia. Al calcular puntuaciones de atención entre cada par de tokens, permite una representación contextual rica y paralela.

Summary

Un mecanismo que permite a una red neuronal ponderar la importancia de las diferentes partes de la secuencia de entrada en relación entre sí.

Key Concepts

  • Consulta-Clave-Valor
  • Puntuaciones de Atención
  • Ponderación Contextual
  • Procesamiento Paralelo

Use Cases

  • Traducción automática
  • Resumen de textos
  • Clasificación de imágenes mediante Transformers Visuales

Code Example

1
2

import torch.nn as nn
attn = nn.MultiheadAttention(embed_dim=512, num_heads=8)

Related