上下文窗口
term_id: context_window
Category: engineering_practice
Definition
上下文窗口定义了AI模型在单次交互中记忆的运作限制。它决定了模型可以关注多少先前的对话历史、文档文本或输入数据，从而保持对整体语境的连贯理解。
Summary
语言模型在推理或训练期间能够同时处理和考虑的文本或令牌的最大数量。
Key Concepts
- 令牌限制
- 注意力机制
- 内存约束
- 输入长度
Use Cases
- 长文档摘要
- 在聊天机器人中保持对话历史
- 分析大型代码库