アテンション

Definition

アテンション機構により、モデルは特にテキストのような逐次データを処理する際に、関連情報に焦点を当てることができます。アテンションスコアを計算することで、モデルはどの要素が現在の出力に最も寄与するかを決定します。

Summary

ニューラルネットワークが入力シーケンスの異なる部分の重要度を動的に重み付けできるようにする機構。

Key Concepts

• 自己注意機構
• 文脈的重み付け
• 長距離依存関係
• トランスフォーマーアーキテクチャ

Use Cases

• 言語間の機械翻訳
• 長文書の要約
• 画像キャプション生成および視覚的質問応答

Related Terms

• Transformer (トランスフォーマー)
• Self-Attention (自己注意機構)
• Multi-Head Attention (マルチヘッドアテンション)
• Sequence Modeling (シーケンスモデリング)