Token
term_id: token
Category: basic_concepts
Definition
Os tokens são os blocos de construção fundamentais dos dados de entrada em PLN, representando tipicamente palavras, subpalavras ou caracteres. Grandes Modelos de Linguagem (LLMs) processam texto convertendo-o em tokens, que são…
Summary
Um token é uma unidade discreta de texto ou dados que serve como elemento básico de entrada para modelos de processamento de linguagem natural.
Key Concepts
- Unidade Discreta
- Vocabulário
- Embedding
- Janela de Contexto
Use Cases
- Geração de texto em LLMs
- Pré-processamento de tradução automática
- Formatação de entrada para análise de sentimento