Длинный контекст
term_id: long_context
Category: basic_concepts
Definition
Длинный контекст относится к способности моделей на основе трансформеров обрабатывать длинные входные последовательности, часто превышающие стандартные ограничения в 2k или 4k токенов. Эта возможность позволяет моделям анализировать полные документы, длинные диалоги или обширные базы кода, сохраняя целостность информации на протяжении всего текста.
Summary
Способность языковой модели обрабатывать и сохранять информацию из входных последовательностей, содержащих тысячи или миллионы токенов.
Key Concepts
- Контекстное окно
- Лимит токенов
- Механизм внимания
- Позиционное кодирование
Use Cases
- Суммаризация полных юридических контрактов
- Анализ полных репозиториев исходного кода
- Обработка длинных транскрипций аудио