Chunking

Definition

Chunking er eit kritisk førebehandlingssteg i Retrieval-Augmented Generation (RAG) og andre NLP-pipeline-ar. Det inneber å dele tekst inn i faste semantiske einingar (‘chunks’) for å passe innanfor kontekstvinduet.

Summary

Chunking er prosessen med å dele store dokument eller datastraumar inn i mindre, handterlege segment for prosessering eller indeksering.

Key Concepts

• Kontekstvindu
• RAG (Retrieval-Augmented Generation)
• Tekstdeling
• Indeksering

Use Cases

• Bygging av kunnskapsbasar for RAG
• Prosessering av lange dokument for oppsummering
• Inndata til vektor-databasar

Related Terms

• Embedding (vektorrepresentasjon)
• Vector Database (vektordatabase)
• Tokenizer (tokeniserar)
• RAG (Retrieval-Augmented Generation)