Bag-of-Words-Modell

term_id: bag_of_words_model

Category: basic_concepts

Definition

Diese Technik des Natural Language Processing (NLP) stellt Text als Multiset von Wörtern dar und berücksichtigt dabei Syntax und Sequenz nicht. Sie konvertiert Dokumente in numerische Vektoren basierend auf der Wortfrequenz oder bloßen Präsenz.

Summary

Das Bag-of-Words-Modell ist eine vereinfachende Darstellung von Text, die das Vorkommen von Wörtern in einem Dokument beschreibt, wobei Grammatik und Wortreihenfolge ignoriert werden.

Key Concepts

  • Tokenisierung
  • Häufigkeitszählung
  • Vektorraum
  • Merkmalsextraktion

Use Cases

  • Textklassifizierung
  • Spam-Filterung
  • Information Retrieval (Informationsrückgewinnung)

Code Example

1
2
3
4

from sklearn.feature_extraction.text import CountVectorizer
corpus = ["Hello world", "World hello"]
vectorizer = CountVectorizer()
X = vectorizer.fit_transform(corpus)

Related