注意力机制
term_id: attention
Category: training_techniques
Definition
注意力机制使模型在处理输入（特别是文本等序列数据）时能够关注相关信息。通过计算注意力分数，模型确定哪些元素对当前任务最相关，从而捕捉长距离依赖关系并增强上下文理解。
Summary
一种允许神经网络动态权衡输入序列不同部分重要性的机制。
Key Concepts
- 自注意力
- 上下文加权
- 长距离依赖
- Transformer架构
Use Cases
- 跨语言机器翻译
- 长文档摘要
- 图像描述生成和视觉问答