Bag-of-Words Model

term_id: bag_of_words_model

Category: basic_concepts

Definition

Deze techniek voor natuurlijke taalverwerking representeert tekst als een multiset van woorden, waarbij syntaxis en volgorde buiten beschouwing worden gelaten. Het converteert documenten naar numerieke vectoren op basis van woordfrequentie of aanwezigheid.

Summary

Het bag-of-words-model is een vereenvoudigde weergave van tekst die de voorkomen van woorden in een document beschrijft, waarbij grammatica en woordvolgorde worden genegeerd.

Key Concepts

  • Tokenisatie
  • Frequentietelling
  • Vectormodel
  • Kenmerkextractie

Use Cases

  • Tekstclassificatie
  • Spamfiltering
  • Informatieopzoeking

Code Example

1
2
3
4

from sklearn.feature_extraction.text import CountVectorizer
corpus = ["Hello world", "World hello"]
vectorizer = CountVectorizer()
X = vectorizer.fit_transform(corpus)

Related