Τμηματοποίηση
term_id: chunking
Category: application_paradigms
Definition
Η τμηματοποίηση είναι ένα κρίσιμο βήμα προεπεξεργασίας στην Ανακτητικά Ενισχυμένη Γένεση (RAG) και άλλους αγωγούς ΕΦΓ. Περιλαμβάνει τη διαίρεση του κειμένου σε μονάδες σταθερού μεγέθους ή σημασιολογικές μονάδες (chunks) ώστε να χωράνε στο πλαίσιο
Summary
Η τμηματοποίηση είναι η διαδικασία διαίρεσης μεγάλων εγγράφων ή ροών δεδομένων σε μικρότερα, διαχειρίσιμα τμήματα για επεξεργασία ή ευρετηρίαση.
Key Concepts
- Παράθυρο Πλαισίου (Context Window)
- RAG (Ανακτητικά Ενισχυμένη Γένεση)
- Διαίρεση Κειμένου
- Ευρετηρίαση
Use Cases
- Κατασκευή βάσεων γνώσης για RAG
- Επεξεργασία μακρών εγγράφων για σύνοψη
- Εισαγωγή σε διανυσματικές βάσεις δεδομένων