Самовнимание

term_id: self_attention

Category: basic_concepts

Definition

Самовнимание позволяет моделям одновременно выявлять зависимости между всеми позициями в последовательности, независимо от расстояния между ними. Вычисляя оценки внимания между каждой парой токенов, оно позволяет…

Summary

Механизм, позволяющий нейронной сети оценивать важность различных частей входной последовательности относительно друг друга.

Key Concepts

  • Запрос-Ключ-Значение
  • Оценки внимания
  • Контекстное взвешивание
  • Параллельная обработка

Use Cases

  • Машинный перевод
  • Суммаризация текста
  • Классификация изображений с помощью Vision Transformers

Code Example

1
2

import torch.nn as nn
attn = nn.MultiheadAttention(embed_dim=512, num_heads=8)

Related