Limite de Tokens
term_id: token_limit
Category: engineering_practice
Definition
O limite de tokens define a restrição do tamanho da janela de contexto para modelos de linguagem grandes, restringindo quanto texto pode ser analisado ou gerado de uma só vez. Essa fronteira arquitetural impacta o gerenciamento de memória, a eficiência computacional e a necessidade de técnicas como truncamento ou chunking.
Summary
O número máximo de tokens que um modelo de IA pode processar em uma única sequência de entrada ou saída.
Key Concepts
- Janela de Contexto
- Truncamento
- Engenharia de Prompt
- Gerenciamento de Memória
Use Cases
- Projeto de sistemas RAG (Retrieval-Augmented Generation)
- Otimização do comprimento do prompt
- Processamento de documentos longos