Transformer

term_id: transformer

Category: basic_concepts

Definition

Introduzido no artigo ‘Attention Is All You Need’, a arquitetura Transformer revolucionou o processamento de linguagem natural e além. Ela usa autoatenção multi-cabeça para pesar a significância de…

Summary

Uma arquitetura de aprendizado profundo baseada em mecanismos de autoatenção que processa dados sequenciais em paralelo, em vez de sequencialmente.

Key Concepts

  • Autoatenção
  • Atenção Multi-Cabeça
  • Codificação Posicional
  • Estrutura Codificador-Decodificador

Use Cases

  • Tradução automática
  • Geração de texto
  • Reconhecimento de imagens (ViT)

Code Example

1
2

import torch.nn as nn
attention_layer = nn.MultiheadAttention(embed_dim=512, num_heads=8)

Related