تجزئة الرموز (Tokenization)

term_id: tokenization

Category: engineering_practice

Definition

تُعد تجزئة الرموز خطوة حاسمة في المعالجة المسبقة لمعالجة اللغات الطبيعية (NLP)، حيث تحول النص غير المهيكلة إلى بيانات مهيكلة مناسبة لإدخالها في النموذج. تتضمن هذه العملية تفكيك الجمل والفقرات إلى مكوناتها الأساسية من الرموز.

Summary

تجزئة الرموز هي عملية تقسيم النص الخام إلى وحدات أصغر تسمى الرموز، والتي يمكن معالجتها بواسطة خوارزميات التعلم الآلي.

Key Concepts

  • تقسيم النص
  • المعالجة المسبقة
  • WordPiece (نمط تجزئة)
  • ترميز زوج البايت (BPE)

Use Cases

  • إعداد مجموعات البيانات لتدريب نموذج BERT
  • تنسيق المدخلات لنماذج GPT
  • تنظيف البيانات لتحليل المشاعر

Code Example

1
2
3

from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained('bert-base-uncased')
tokens = tokenizer.tokenize('Hello world!')

Related