注意力机制
term_id: attention_mechanism
Category: basic_concepts
Definition
注意力机制使模型能够动态地权衡输入序列中不同元素的重要性。与平等对待所有输入数据不同，它会根据上下文分配不同的权重，从而让模型聚焦于最相关的信息部分，显著提升了对长序列数据的处理能力。
Summary
一种使神经网络在生成输出时能够专注于输入数据特定部分的技术。
Key Concepts
- 自注意力
- 上下文向量
- 加权求和
- Transformer 架构
Use Cases
- 机器翻译模型
- 图像描述生成
- 文本摘要