Bag-of-words-modellen

term_id: bag_of_words_model

Category: basic_concepts

Definition

Denne teknik til naturlig sprogbehandling repræsenterer tekst som en multimsængde af ord og ser bort fra syntaks og sekvens. Den konverterer dokumenter til numeriske vektorer baseret på ordfrekvens eller tilstedeværelse.

Summary

Bag-of-words-modellen er en forenklet repræsentation af tekst, der beskriver forekomsten af ord i et dokument og ignorerer grammatik og ordstilling.

Key Concepts

  • Tokenisering
  • Frekvenstælling
  • Vektorrum
  • Funktionsekstraktion

Use Cases

  • Tekstklassificering
  • Spam-filtering
  • Informationssøgning

Code Example

1
2
3
4

from sklearn.feature_extraction.text import CountVectorizer
corpus = ["Hello world", "World hello"]
vectorizer = CountVectorizer()
X = vectorizer.fit_transform(corpus)

Related