رمز (Token)
term_id: token
Category: basic_concepts
Definition
تُعد الرموز اللبنات الأساسية لبناء بيانات الإدخال في معالجة اللغات الطبيعية (NLP)، وغالباً ما تمثل الكلمات، أو الأجزاء الفرعية من الكلمات، أو الأحرف. تقوم نماذج اللغة الكبيرة (LLMs) بمعالجة النص عن طريق تحويله إلى رموز، والتي يتم بعد ذلك تحويلها إلى تمثيلات رياضية.
Summary
الرمز هو وحدة منفصلة من النص أو البيانات، ويعتبر عنصر الإدخال الأساسي لنماذج معالجة اللغات الطبيعية.
Key Concepts
- وحدة منفصلة
- المفردات
- التضمين (Embedding)
- نافذة السياق
Use Cases
- توليد النصوص في نماذج اللغة الكبيرة
- المعالجة المسبقة للترجمة الآلية
- تنسيق مدخلات تحليل المشاعر