Трансформер

term_id: transformer

Category: basic_concepts

Definition

Впервые представленная в статье «Attention Is All You Need», архитектура трансформера произвела революцию в обработке естественного языка и не только. Она использует многоголовое самовнимание для оценки значимости

Summary

Архитектура глубокого обучения, основанная на механизмах самовнимания, которая обрабатывает последовательные данные параллельно, а не последовательно.

Key Concepts

  • Самовнимание
  • Многоголовое внимание
  • Позиционное кодирование
  • Структура энкодер-декодер

Use Cases

  • Машинный перевод
  • Генерация текста
  • Распознавание изображений (ViT)

Code Example

1
2

import torch.nn as nn
attention_layer = nn.MultiheadAttention(embed_dim=512, num_heads=8)

Related