Transformador

term_id: transformer

Category: basic_concepts

Definition

Introducido en el artículo ‘Attention Is All You Need’, la arquitectura Transformador revolucionó el procesamiento del lenguaje natural y más allá. Utiliza autoatención de múltiples cabezas para ponderar la importancia de

Summary

Una arquitectura de aprendizaje profundo basada en mecanismos de autoatención que procesa datos secuenciales en paralelo en lugar de secuencialmente.

Key Concepts

  • Autoatención
  • Atención de Múltiples Cabezas
  • Codificación Posicional
  • Estructura Codificador-Decodificador

Use Cases

  • Traducción automática
  • Generación de texto
  • Reconocimiento de imágenes (ViT)

Code Example

1
2

import torch.nn as nn
attention_layer = nn.MultiheadAttention(embed_dim=512, num_heads=8)

Related