Chunking
term_id: chunking
Category: application_paradigms
Definition
Il Chunking è un passaggio critico di pre-elaborazione nella Generazione Aumentata dalla Recupero (RAG) e in altre pipeline NLP. Consiste nel dividere il testo in unità di dimensione fissa o semantiche (chunk) per adattarsi alla finestra di contesto
Summary
Il Chunking è il processo di suddivisione di documenti o flussi di dati ampi in segmenti più piccoli e gestibili per l’elaborazione o l’indicizzazione.
Key Concepts
- Finestra di Contesto
- RAG
- Divisione del Testo
- Indicizzazione
Use Cases
- Creazione di basi di conoscenza per RAG
- Elaborazione di documenti lunghi per il riassunto
- Ingestione in database vettoriali