Лимит токенов
term_id: token_limit
Category: engineering_practice
Definition
Лимит токенов определяет ограничение размера окна контекста для больших языковых моделей, ограничивая объем текста, который можно проанализировать или сгенерировать одновременно. Это архитектурное ограничение влияет на управление памятью,
Summary
Максимальное количество токенов, которое модель ИИ может обработать в одной последовательности ввода или вывода.
Key Concepts
- Окно контекста
- Обрезка
- Инженерия промптов
- Управление памятью
Use Cases
- Проектирование систем RAG
- Оптимизация длины промпта
- Обработка длинных документов