セルフアテンション

term_id: self_attention

Category: basic_concepts

Definition

セルフアテンションにより、モデルは距離に関係なく、シーケンス内のすべての位置間の依存関係を同時に捉えることができます。すべてのトークンのペア間でアテンションスコアを計算することにより、これを実現します。

Summary

ニューラルネットワークが入力シーケンスの異なる部分間の相対的な重要性を重み付けできるメカニズム。

Key Concepts

  • クエリ・キー・バリュー
  • アテンションスコア
  • 文脈的重み付け
  • 並列処理

Use Cases

  • 機械翻訳
  • テキスト要約
  • ビジョントランスフォーマーによる画像分類

Code Example

1
2

import torch.nn as nn
attn = nn.MultiheadAttention(embed_dim=512, num_heads=8)

Related