Token Limit

term_id: token_limit

Category: engineering_practice

Definition

令牌限制定义了大型语言模型的上下文窗口大小约束，限制了同时可以分析或生成的文本量。这一架构边界影响内存管理、

Summary

AI模型在单个输入或输出序列中可处理的最大令牌数量。

Key Concepts

  • 上下文窗口
  • 截断
  • 提示工程
  • 内存管理

Use Cases

  • 设计检索增强生成（RAG）系统
  • 优化提示长度
  • 处理长文档

Related