Bag-of-words-modellen

Definition

Denne teknikken innen naturlig språkbehandling representerer tekst som en multiset av ord, der syntaks og sekvens ignoreres. Den konverterer dokumenter til numeriske vektorer basert på ordfrekvens eller tilstedeværelse.

Summary

Bag-of-words-modellen er en forenklet representasjon av tekst som beskriver forekomsten av ord i et dokument, uten å ta hensyn til grammatikk og ordrekkefølge.

Key Concepts

• Tokenisering
• Frekvenstelling
• Vektorrom
• Trekkutvinning

Use Cases

• Tekstklassifisering
• Spamfiltrering
• Informasjonshenting

Code Example

1
2
3
4

from sklearn.feature_extraction.text import CountVectorizer
corpus = ["Hello world", "World hello"]
vectorizer = CountVectorizer()
X = vectorizer.fit_transform(corpus)

Related Terms

• TF-IDF (Term Frequency-Inverse Document Frequency)
• N-grams (N-grammer)
• Word Embeddings (Ordinnkapslinger)