Token
term_id: token
Category: basic_concepts
Definition
Los tokens son los bloques de construcción fundamentales de los datos de entrada en el Procesamiento del Lenguaje Natural (PLN), representando típicamente palabras, subpalabras o caracteres. Los Modelos de Lenguaje Grande (LLM) procesan el texto convirtiéndolo en tokens, que son luego transformados en representaciones numéricas.
Summary
Un token es una unidad discreta de texto o datos que sirve como elemento de entrada básico para los modelos de procesamiento del lenguaje natural.
Key Concepts
- Unidad Discreta
- Vocabulario
- Incrustación (Embedding)
- Ventana de Contexto
Use Cases
- Generación de texto en LLMs
- Preprocesamiento para traducción automática
- Formato de entrada para análisis de sentimiento