Fragmentare (Chunking)

term_id: chunking

Category: application_paradigms

Definition

Fragmentarea este un pas critic de preprocesare în Generarea Augmentată de Recuperare (RAG) și alte conducte NLP. Implică împărțirea textului în unități de dimensiune fixă sau semantice (fragmente) pentru a se încadra în fereastra de context a modelului și pentru a facilita recuperarea precisă.

Summary

Fragmentarea este procesul de împărțire a documentelor mari sau a fluxurilor de date în segmente mai mici, gestionabile, pentru procesare sau indexare.

Key Concepts

  • Fereastra de Context
  • RAG (Generarea Augmentată de Recuperare)
  • Împărțirea Textului
  • Indexare

Use Cases

  • Construirea bazelor de cunoștințe pentru RAG
  • Procesarea documentelor lungi pentru sumarizare
  • Ingestia în baze de date vectoriale

Related