Chunking
term_id: chunking
Category: application_paradigms
Definition
Chunking ist ein kritischer Vorverarbeitungsschritt in Retrieval-Augmented Generation (RAG) und anderen NLP-Pipelines. Dabei wird Text in Einheiten fester Größe oder semantische Einheiten (Chunks) unterteilt, um ins Kontextfenster zu passen.
Summary
Chunking ist der Prozess des Aufteilens großer Dokumente oder Datenströme in kleinere, handhabbare Segmente zur Verarbeitung oder Indizierung.
Key Concepts
- Kontextfenster
- RAG (Retrieval-Augmented Generation)
- Textaufteilung
- Indizierung
Use Cases
- Erstellung von Wissensdatenbanken für RAG
- Verarbeitung langer Dokumente zur Zusammenfassung
- Datenaufnahme in Vektordatenbanken