קידוד זוגות בתים (BPE)

term_id: bpe

Category: engineering_practice

Definition

קידוד זוגות בתים (BPE) הוא טכניקת דחיסת נתונים שהותאמה לעיבוד שפה טבעית כדי להתמודד עם מילים שאינן קיימות באוצר המילים הקיים. הוא מתחיל מאוצר מילים המורכב מתווים בודדים ומבצע מיזוגים איטרטיביים של זוגות תווים תכופים.

Summary

קידוד זוגות בתים הוא אלגוריתם המשמש לטוקניזציה של תת-מילים (subword tokenization), הממזג באופן איטרטיבי את זוגות התווים הנפוצים ביותר כדי לבנות אוצר מילים.

Key Concepts

  • טוקניזציית תת-מילים
  • מיזוג אוצר מילים
  • ניתוח תדירות
  • טיפול במילים חוץ-אוצר מילים

Use Cases

  • עיבוד מקדים של טקסט למודלי שפה גדולים
  • טיפול בשפות עשירות במורפולוגיה
  • הקטנת גודל אוצר המילים ברשתות נוירונים

Code Example

1
2
3
4

import tiktoken
enc = tiktoken.get_encoding("cl100k_base")
tokens = enc.encode("unhappiness")
print(tokens)

Related