التجزئة (Chunking)
term_id: chunking
Category: application_paradigms
Definition
تعد التجزئة خطوة حاسمة في ما قبل المعالجة في نماذج التوليد المعزز بالاسترجاع (RAG) وفي خطوط أنابيب معالجة اللغات الطبيعية الأخرى. تتضمن تقسيم النص إلى وحدات بحجم ثابت أو دلالي (كتل) لتناسب نافذة السياق المحدودة للنماذج.
Summary
التجزئة هي عملية تقسيم المستندات الكبيرة أو تدفقات البيانات إلى أجزاء أصغر وقابلة للإدارة للمعالجة أو الفهرسة.
Key Concepts
- نافذة السياق
- RAG (التوليد المعزز بالاسترجاع)
- تقسيم النص
- الفهرسة
Use Cases
- بناء قواعد المعرفة لأنظمة RAG
- معالجة المستندات الطويلة للتلخيص
- استيعاب البيانات في قواعد بيانات المتجهات