Rozdělování na úseky
term_id: chunking
Category: application_paradigms
Definition
Rozdělování na úseky je kritickým krokem předzpracování v Retrieval-Augmented Generation (RAG) a dalších pipelinech NLP. Zahrnuje dělení textu na jednotky pevné velikosti nebo sémantické celky (úseky), aby se vešly do kontextového okna modelu.
Summary
Rozdělování na úseky je proces rozdělování velkých dokumentů nebo datových toků na menší, lépe zpracovatelné segmenty pro účely zpracování nebo indexování.
Key Concepts
- Okno kontextu
- RAG (Generace augmentovaná retrieval)
- Rozdělování textu
- Indexování
Use Cases
- Vytváření znalostních bází pro RAG
- Zpracování dlouhých dokumentů pro shrnování
- Příjem dat do vektorové databáze