Segmentación
term_id: chunking
Category: application_paradigms
Definition
La segmentación es un paso crítico de preprocesamiento en la Generación Aumentada por Recuperación (RAG) y otras tuberías de PLN. Implica dividir el texto en unidades de tamaño fijo o semánticas (fragmentos) para ajustarse dentro del contexto
Summary
La segmentación es el proceso de dividir documentos grandes o flujos de datos en segmentos más pequeños y manejables para su procesamiento o indexación.
Key Concepts
- Ventana de contexto
- RAG (Generación Aumentada por Recuperación)
- División de texto
- Indexación
Use Cases
- Construcción de bases de conocimiento para RAG
- Procesamiento de documentos largos para resumen
- Ingestión en bases de datos vectoriales