Chunking
term_id: chunking
Category: application_paradigms
Definition
O Chunking é uma etapa crítica de pré-processamento na Geração Aumentada por Recuperação (RAG) e em outros pipelines de PLN. Envolve dividir o texto em unidades de tamanho fixo ou semânticas (chunks) para caber dentro da contex
Summary
Chunking é o processo de dividir grandes documentos ou fluxos de dados em segmentos menores e gerenciáveis para processamento ou indexação.
Key Concepts
- Janela de Contexto
- RAG (Geração Aumentada por Recuperação)
- Divisão de Texto
- Indexação
Use Cases
- Construção de bases de conhecimento para RAG
- Processamento de documentos longos para resumo
- Ingestão em bancos de dados vetoriais