טוקן (יחידת טקסט)
term_id: token
Category: basic_concepts
Definition
טוקנים הם אבני הבניין היסודיות של נתוני קלט בעיבוד שפה טבעית (NLP), המייצגים בדרך כלל מילים, חלקי מילים או תווים. מודלי שפה גדולים (LLMs) מעבדים טקסט על ידי המרתו לטוקנים, אשר מהווים את הבסיס לחישובים.
Summary
טוקן הוא יחידה בדידה של טקסט או נתון המשמשת כאלמנט הקלט הבסיסי עבור מודלי עיבוד שפה טבעית.
Key Concepts
- יחידה בדידה
- אוצר מילים
- הטמעה (Embedding)
- חלון הקשר
Use Cases
- יצירת טקסט במודלי שפה גדולים
- עיבוד מקדים לתרגום מכונה
- עיצוב קלט לניתוח רגשות