Transformer

term_id: transformer

Category: basic_concepts

Definition

「Attention Is All You Need」論文で紹介されたTransformerアーキテクチャは、自然言語処理およびそれ以外の分野に革命をもたらしました。これはマルチヘッド自己注意を用いて、入力データの各要素の重要度を評価・重み付けします。

Summary

自己注意機構に基づき、逐次処理ではなく並列処理でシーケンシャルデータを処理するディープラーニングアーキテクチャ。

Key Concepts

  • 自己注意
  • マルチヘッド注意
  • 位置エンコーディング
  • エンコーダ-デコーダ構造

Use Cases

  • 機械翻訳
  • テキスト生成
  • 画像認識（ViT）

Code Example

1
2

import torch.nn as nn
attention_layer = nn.MultiheadAttention(embed_dim=512, num_heads=8)

Related