מודל שקית המילים

term_id: bag_of_words_model

Category: basic_concepts

Definition

טכניקה זו בעיבוד שפה טבעית מייצגת טקסט כרב-קבוצה (multiset) של מילים, תוך זניחת תחביר ורצף. היא ממירה מסמכים לוקטורים מספריים על בסיס שכיחות המילים או נוכחותן.

Summary

מודל שקית המילים הוא ייצוג מפשט של טקסט המתאר את שכיחות המילים במסמך, תוך התעלמות מדקדוק וסדר המילים.

Key Concepts

  • טוקניזציה (פירוק למרכיבים)
  • ספירת שכיחויות
  • מרחב וקטורי
  • חילוץ מאפיינים

Use Cases

  • מיון טקסט
  • סינון דואר זבל
  • שליפה מידע

Code Example

1
2
3
4

from sklearn.feature_extraction.text import CountVectorizer
corpus = ["Hello world", "World hello"]
vectorizer = CountVectorizer()
X = vectorizer.fit_transform(corpus)

Related