トークン制限
term_id: token_limit
Category: engineering_practice
Definition
トークン制限は、大規模言語モデルのコンテキストウィンドウサイズの制約を定義し、一度に分析または生成できるテキストの量を制限します。このアーキテクチャ上の境界は、メモリ管理に影響を与えます。
Summary
AIモデルが1回の入出力シーケンスで処理できるトークンの最大数。
Key Concepts
- コンテキストウィンドウ
- 切り捨て
- プロンプトエンジニアリング
- メモリ管理
Use Cases
- RAGシステムの設計
- プロンプト長の最適化
- 長文書の処理