Токен-максинг
term_id: token_maxxing
Category: basic_concepts
Definition
Токен-максинг включает тщательную разработку входных данных для использования полного контекстного окна модели или оптимизации семантической плотности токенов для повышения производительности. Практики могут добавлять заполнители или перефразировать запросы, чтобы достичь оптимальной эффективности без потери качества ответа.
Summary
Стратегия оптимизации в инженерии промптов, направленная на максимизацию полезности или качества вывода при использовании определенного количества токенов в больших языковых моделях.
Key Concepts
- Инженерия промптов
- Контекстное окно
- Семантическая плотность
- Оптимизация
Use Cases
- Максимизация возможностей рассуждения больших языковых моделей
- Снижение затрат на использование API
- Тестирование границ возможностей моделей