ترميز أزواج البايت

term_id: bpe

Category: engineering_practice

Definition

ترميز أزواج البايت (BPE) هو تقنية لضغط البيانات تم تكييفها لمعالجة اللغات الطبيعية للتعامل مع الكلمات غير الموجودة في المفردات المعروفة. تبدأ العملية بمفردات تتكون من أحرف فردية وتقوم بشكل تكراري بدمج الأزواج الأكثر تكراراً لتوسيع المفردات وتحسين كفاءة التمثيل النصي.

Summary

ترميز أزواج البايت (BPE) هو خوارزمية تُستخدم لتجزئة الكلمات إلى وحدات فرعية، حيث تندمج تكرارياً أكثر أزواج الأحرف شيوعاً لبناء مفردات.

Key Concepts

  • تجزئة الكلمات الفرعية
  • دمج المفردات
  • تحليل التكرار
  • معالجة الكلمات غير المألوفة

Use Cases

  • معالجة النصوص المسبقة لنماذج اللغة الكبيرة
  • التعامل مع اللغات الغنية صرفياً
  • تقليل حجم المفردات في الشبكات العصبية

Code Example

1
2
3
4

import tiktoken
enc = tiktoken.get_encoding("cl100k_base")
tokens = enc.encode("unhappiness")
print(tokens)

Related