Chunking
term_id: chunking
Category: application_paradigms
Definition
Chunking is een cruciale voorverwerkingsstap in Retrieval-Augmented Generation (RAG) en andere NLP-pijplijnen. Het houdt in dat tekst wordt verdeeld in eenheden van vaste grootte of semantische eenheden (‘chunks’) om binnen het contextvenster te passen.
Summary
Chunking is het proces van het splitsen van grote documenten of gegevensstromen in kleinere, beheersbare segmenten voor verwerking of indexering.
Key Concepts
- Contextvenster
- RAG (Retrieval-Augmented Generation)
- Tekstsplitsing
- Indexering
Use Cases
- Het bouwen van kennisbases voor RAG
- Verwerking van lange documenten voor samenvatting
- Invoer in vector databases