Szavak zsákja modell

term_id: bag_of_words_model

Category: basic_concepts

Definition

Ez a természetes nyelvfeldolgozási technika a szöveget szavak sokaságaként (multihalmazként) ábrázolja, mellőzve a szintaxist és a sorrendet. A dokumentumokat numerikus vektorokká alakítja át a szavak gyakorisága vagy jelenléte alapján.

Summary

A szavak zsákja modell egy egyszerűsített szövegábrázolási módszer, amely a dokumentumokban előforduló szavakat írja le, figyelmen kívül hagyva a nyelvtant és a szórendet.

Key Concepts

  • Tokenizáció
  • Gyakorisági számolás
  • Vektortér
  • Jellemzők kinyerése

Use Cases

  • Szövegbesorolás
  • Spam-szűrés
  • Információkeresés

Code Example

1
2
3
4

from sklearn.feature_extraction.text import CountVectorizer
corpus = ["Hello world", "World hello"]
vectorizer = CountVectorizer()
X = vectorizer.fit_transform(corpus)

Related