自注意力机制

term_id: self_attention

Category: basic_concepts

Definition

自注意力使模型能够同时捕捉序列中所有位置之间的依赖关系，无论距离远近。通过计算每对标记之间的注意力分数，它使得……

Summary

一种允许神经网络根据彼此之间的相对重要性来权衡输入序列不同部分的机制。

Key Concepts

  • 查询-键-值 (Query-Key-Value)
  • 注意力分数
  • 上下文加权
  • 并行处理

Use Cases

  • 机器翻译
  • 文本摘要
  • 通过视觉Transformer进行图像分类

Code Example

1
2

import torch.nn as nn
attn = nn.MultiheadAttention(embed_dim=512, num_heads=8)

Related