Giới hạn Token
term_id: token_limit
Category: engineering_practice
Definition
Giới hạn token xác định ràng buộc về kích thước cửa sổ ngữ cảnh cho các mô hình ngôn ngữ lớn, hạn chế lượng văn bản có thể được phân tích hoặc tạo ra cùng một lúc. Ranh giới kiến trúc này ảnh hưởng đến việc quản lý bộ nhớ,
Summary
Số lượng token tối đa mà một mô hình AI có thể xử lý trong một chuỗi đầu vào hoặc đầu ra đơn lẻ.
Key Concepts
- Cửa sổ Ngữ cảnh
- Cắt bớt (Truncation)
- Kỹ thuật Prompt
- Quản lý Bộ nhớ
Use Cases
- Thiết kế hệ thống RAG
- Tối ưu hóa độ dài prompt
- Xử lý tài liệu dài