アテンション機構
term_id: attention_mechanism
Category: basic_concepts
Definition
アテンション機構は、モデルが入力シーケンス内の異なる要素の重要度を動的に重み付けすることを可能にします。すべての入力データを同様に扱うのではなく、異なるレベルの重要性を割り当てます。
Summary
ニューラルネットワークが入力データの特定の部分に焦点を当てることを可能にする技術。
Key Concepts
- セルフアテンション
- コンテキストベクトル
- 加重和
- トランスフォーマーアーキテクチャ
Use Cases
- 機械翻訳モデル
- 画像キャプション生成
- 要約生成