Contexto Longo
term_id: long_context
Category: basic_concepts
Definition
Contexto longo refere-se à capacidade dos modelos baseados em transformadores de lidar com comprimentos de entrada extensos, frequentemente excedendo limites padrão como 2k ou 4k tokens. Essa capacidade permite que os modelos analisem inteiramente
Summary
A capacidade de um modelo de linguagem de processar e reter informações de sequências de entrada contendo milhares ou milhões de tokens.
Key Concepts
- Janela de contexto
- Limite de tokens
- Mecanismo de atenção
- Codificação posicional
Use Cases
- Resumir contratos jurídicos completos
- Analisar repositórios inteiros de código-fonte
- Processar transcrições de áudio de longa duração