Límite de Tokens
term_id: token_limit
Category: engineering_practice
Definition
El límite de tokens define la restricción del tamaño de la ventana de contexto para los modelos de lenguaje grandes, limitando cuánta información textual puede analizarse o generarse a la vez. Esta barrera arquitectónica impacta la gestión de memoria,
Summary
El número máximo de tokens que un modelo de IA puede procesar en una sola secuencia de entrada o salida.
Key Concepts
- Ventana de Contexto
- Truncamiento
- Ingeniería de Prompts
- Gestión de Memoria
Use Cases
- Diseño de sistemas RAG
- Optimización de la longitud del prompt
- Procesamiento de documentos extensos