Чанкинг (Разбиение на фрагменты)
term_id: chunking
Category: application_paradigms
Definition
Чанкинг — критический этап предварительной обработки в Retrieval-Augmented Generation (RAG) и других конвейерах обработки естественного языка. Он включает разделение текста на фиксированные по размеру или семантические единицы (чанки), чтобы они помещались в контекстное окно модели.
Summary
Чанкинг — это процесс разделения больших документов или потоков данных на меньшие, управляемые сегменты для обработки или индексации.
Key Concepts
- Контекстное окно
- RAG (Генерация с дополнением извлечением)
- Разделение текста
- Индексация
Use Cases
- Создание баз знаний для RAG
- Обработка длинных документов для суммаризации
- Загрузка данных в векторные базы данных