Chunking
term_id: chunking
Category: application_paradigms
Definition
Chunking adalah langkah pra-pemrosesan yang kritis dalam Retrieval-Augmented Generation (RAG) dan pipeline NLP lainnya. Ini melibatkan pembagian teks menjadi unit berukuran tetap atau semantik (chunk) agar muat dalam jendela konteks model, sehingga memungkinkan pengambilan informasi yang lebih akurat.
Summary
Chunking adalah proses membagi dokumen besar atau aliran data menjadi segmen-segmen kecil yang lebih mudah dikelola untuk diproses atau diindeks.
Key Concepts
- Jendela Konteks
- RAG
- Pemisahan Teks
- Pengindeksan
Use Cases
- Membangun basis pengetahuan untuk RAG
- Memproses dokumen panjang untuk ringkasan
- Ingesti ke basis data vektor