Chunking

Definition

Chunking is a critical preprocessing step in Retrieval-Augmented Generation (RAG) and other NLP pipelines. It involves dividing text into fixed-size or semantic units (chunks) to fit within the contex

Summary

Chunking er processen med at opdele store dokumenter eller datastrømme i mindre, håndterbare segmenter til behandling eller indeksering.

Key Concepts

• Kontekstvindu
• RAG (Retrieval-Augmented Generation)
• Tekstopdeling
• Indeksering

Use Cases

• Bygning af vidensbaser til RAG
• Behandling af lange dokumenter til opsummering
• Indlæsning i vektordatabaser

Related Terms

• Embedding (vektorgenerering)
• Vector Database (vektordatabase)
• Tokenizer (tokeniserer)
• RAG (Retrieval-Augmented Generation)