טוקניזציה

term_id: tokenization

Category: engineering_practice

Definition

טוקניזציה היא שלב קריטי בעיבוד מקדים בעיבוד שפה טבעית (NLP), הממיר טקסט לא מובנה לנתונים מובנים המתאימים לקליטה על ידי מודל. התהליך כולל שבירת משפטים וטקסטים ליחידות בסיסיות.

Summary

טוקניזציה היא התהליך של פיצול טקסט גולמי ליחידות קטנות יותר הנקראות טוקנים, שניתן לעבד באמצעות אלגוריתמי למידת מכונה.

Key Concepts

  • פיצול טקסט
  • עיבוד מקדים
  • WordPiece
  • Byte-Pair Encoding

Use Cases

  • הכנת מערכי נתונים לאימון BERT
  • עיצוב קלט למודלי GPT
  • ניקוי נתונים לניתוח רגשות

Code Example

1
2
3

from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained('bert-base-uncased')
tokens = tokenizer.tokenize('Hello world!')

Related