Chunking
term_id: chunking
Category: application_paradigms
Definition
Chunking är ett kritiskt förbehandlingssteg i Retrieval-Augmented Generation (RAG) och andra NLP-pipelines. Det innebär att dela upp text i enheter med fast storlek eller semantiska enheter (chunks) för att passa inom kontext
Summary
Chunking är processen att dela upp stora dokument eller dataströmmar i mindre, hanterbara segment för bearbetning eller indexering.
Key Concepts
- Kontextfönster
- RAG (Retrieval-Augmented Generation)
- Textuppdelning
- Indexering
Use Cases
- Byggande av kunskapsbas för RAG
- Bearbetning av långa dokument för sammanfattning
- Inmatning i vektordatabaser