Darabolás
term_id: chunking
Category: application_paradigms
Definition
A darabolás kritikus előfeldolgozási lépés a Visszakeresésen Alapuló Generálásban (RAG) és más NLP vezetékekben. A szöveget fix méretű vagy szemantikai egységekre (darabokra) osztja, hogy beférjen a kontextus…
Summary
A darabolás a nagy dokumentumok vagy adatfolyamok kisebb, kezelhető szakaszokra osztásának folyamata feldolgozás vagy indexelés céljából.
Key Concepts
- Kontextusablak
- RAG (Visszakeresésen Alapuló Generálás)
- Szövegtagolás
- Indexelés
Use Cases
- Tudásbázisok építése RAG rendszerekhez
- Hosszú dokumentumok feldolgozása összefoglaláshoz
- Vektoros adatbázisok feltöltése