Cửa sổ ngữ cảnh
term_id: context_window
Category: engineering_practice
Definition
Cửa sổ ngữ cảnh xác định giới hạn hoạt động của bộ nhớ AI cho một lần tương tác duy nhất. Nó quyết định lượng lịch sử hội thoại trước đó, văn bản tài liệu hoặc dữ liệu đầu vào mà mô hình có thể ‘chú ý’ và sử dụng để tạo ra phản hồi chính xác.
Summary
Lượng văn bản hoặc token tối đa mà một mô hình ngôn ngữ có thể xử lý và xem xét đồng thời trong quá trình suy luận hoặc huấn luyện.
Key Concepts
- Giới hạn token
- Cơ chế chú ý
- Ràng buộc bộ nhớ
- Độ dài đầu vào
Use Cases
- Tóm tắt tài liệu dài
- Duy trì lịch sử hội thoại trong chatbot
- Phân tích các cơ sở mã (codebase) lớn