Контекстное окно
term_id: context_window
Category: engineering_practice
Definition
Контекстное окно определяет операционный предел памяти ИИ-модели для одного взаимодействия. Оно определяет, сколько предыдущей истории разговора, текста документа или входных данных модель может учитывать при генерации ответа.
Summary
Максимальный объем текста или токенов, которые языковая модель может обработать и учесть одновременно во время вывода или обучения.
Key Concepts
- Лимит токенов
- Механизм внимания
- Ограничения памяти
- Длина ввода
Use Cases
- Суммаризация длинных документов
- Поддержание истории разговора в чат-ботах
- Анализ крупных баз кода