Découpage (Chunking)
term_id: chunking
Category: application_paradigms
Definition
Le découpage est une étape critique de prétraitement dans la Génération Augmentée par Récupération (RAG) et d’autres pipelines de TALN. Il consiste à diviser le texte en unités de taille fixe ou sémantiques (morceaux) pour qu’elles tiennent dans la fenêtre de contexte.
Summary
Le découpage est le processus consistant à diviser de grands documents ou flux de données en segments plus petits et gérables pour le traitement ou l’indexation.
Key Concepts
- Fenêtre de contexte
- RAG (Génération augmentée par récupération)
- Découpe de texte
- Indexation
Use Cases
- Construction de bases de connaissances pour le RAG
- Traitement de longs documents pour le résumé
- Ingestion dans des bases de données vectorielles