Chunking (Podział na fragmenty)
term_id: chunking
Category: application_paradigms
Definition
Chunking jest krytycznym krokiem wstępnego przetwarzania w Retrieval-Augmented Generation (RAG) i innych potokach NLP. Polega na dzieleniu tekstu na jednostki o stałym rozmiarze lub semantyczne (fragmenty), aby zmieścić się w oknie kontekstowym.
Summary
Chunking to proces dzielenia dużych dokumentów lub strumieni danych na mniejsze, łatwe do zarządzania segmenty w celu przetwarzania lub indeksowania.
Key Concepts
- Okno kontekstowe
- RAG (Generacja wzmocniona wyszukiwaniem)
- Podział tekstu
- Indeksowanie
Use Cases
- Budowanie baz wiedzy dla RAG
- Przetwarzanie długich dokumentów w celu podsumowania
- Wczytywanie do baz wektorowych