Purkaminen (Chunking)
term_id: chunking
Category: application_paradigms
Definition
Purkaminen on kriittinen esikäsittelyvaihe Hakuun perustuvassa generoinnissa (RAG) ja muissa luonnollisen kielen käsittelyn putkissa. Se sisältää tekstin jakamisen kiinteän kokoinen tai semanttisiin yksiköihin (paloiksi) kontekstiikkunan rajojen sisälle.
Summary
Purkaminen on prosessi, jossa suuria asiakirjoja tai datavirtoja jaetaan pienempiin, käsiteltäviin osiin indeksointia tai käsittelyä varten.
Key Concepts
- Kontekstiikkuna
- RAG (Retrieval-Augmented Generation)
- Tekstin jakaminen
- Indeksointi
Use Cases
- Tietokantojen rakentaminen RAG-järjestelmiin
- Pitkien asiakirjojen käsittely tiivistystä varten
- Vektoritietokantojen syöttö