Token maxxing
term_id: token_maxxing
Category: basic_concepts
Definition
O ’token maxxing’ envolve a criação cuidadosa de entradas para utilizar toda a capacidade da janela de contexto de um modelo ou para otimizar a densidade semântica dos tokens visando melhor desempenho. Os praticantes podem adicionar preenchimento (padding) ou refinar a estrutura do prompt para garantir que o modelo opere em seu pico de eficiência cognitiva ou econômica.
Summary
Uma estratégia de otimização na engenharia de prompts visa maximizar a utilidade ou a qualidade da saída de um modelo de linguagem grande (LLM) utilizando um número específico de tokens.
Key Concepts
- Engenharia de Prompts
- Janela de Contexto
- Densidade Semântica
- Otimização
Use Cases
- Maximização das capacidades de raciocínio de LLMs
- Redução de custos no uso de APIs
- Teste dos limites do modelo