Bag-of-words-modellen

term_id: bag_of_words_model

Category: basic_concepts

Definition

Denna teknik inom bearbetning av naturligt språk representerar text som en multiset av ord, där syntax och sekvens ignoreras. Den omvandlar dokument till numeriska vektorer baserat på ordfrekvens eller förekomst.

Summary

Bag-of-words-modellen är en förenklad textrepresentation som beskriver förekomsten av ord i ett dokument, utan att ta hänsyn till grammatik eller ordordning.

Key Concepts

  • Tokenisering
  • Frekvenstälkning
  • Vektorrumsmodell
  • Funktionsextrahering

Use Cases

  • Textklassificering
  • Spamfilter
  • Informationshämtning

Code Example

1
2
3
4

from sklearn.feature_extraction.text import CountVectorizer
corpus = ["Hello world", "World hello"]
vectorizer = CountVectorizer()
X = vectorizer.fit_transform(corpus)

Related