חיתוך לקטעים
term_id: chunking
Category: application_paradigms
Definition
חיתוך לקטעים הוא שלב קריטי של עיבוד מקדים ב-Retrieval-Augmented Generation (RAG) ובזרימות עבודה אחרות של NLP. הוא כולל חלוקת טקסט ליחידות בגודל קבוע או סמנטיות (קטעים) כדי להתאים לחלון ההקשר.
Summary
חיתוך לקטעים (Chunking) הוא התהליך של פיצול מסמכים גדולים או זרמי נתונים לחלקים קטנים וניתנים לניהול לעיבוד או אינדקס.
Key Concepts
- חלון הקשר
- RAG (יצירה משופרת בחיפוש)
- פילוח טקסט
- אינדקס
Use Cases
- בניית מאגרי ידע עבור RAG
- עיבוד מסמכים ארוכים לסיכום
- הזנת נתונים למאגר וקטורי