SentencePiece
term_id: sentencepiece
Category: engineering_practice
Definition
SentencePiece هي مكتبة مفتوحة المصدر شائعة لتطبيع النصوص وتجزئتها، وتُستخدم على نطاق واسع في خطوط أنابيب معالجة اللغة الطبيعية الحديثة. تقوم بتعلم غير خاضع للإشراف لمفردات مشتركة تجمع بين أسلوب الكلمة والأسلوب الفرعي…
Summary
مكتبة لتجزئة وفك تجزئة النصوص بدون إشراف تعالج النص الخام كسلسلة من الكلمات الفرعية لمعالجة مسبقة في معالجة اللغة الطبيعية.
Key Concepts
- تجزئة الكلمات الفرعية
- تعلم المفردات
- فك التجزئة
- غير مرتبط بلغة محددة
Use Cases
- معالجة البيانات مسبقًا لنماذج المحولات
- التعامل مع مجموعات نصوص متعددة اللغات
- تقليل حجم المفردات في نماذج اللغة