Sanapussi-malli

term_id: bag_of_words_model

Category: basic_concepts

Definition

Tämä luonnollen kielen käsittelyn tekniikka esittää tekstin sanan monijoukkona, sivuuttaen syntaksin ja sekvenssin. Se muuntaa dokumentit numeerisiksi vektoreiksi sanojen taajuuden tai esiintymisen perusteella.

Summary

Sanapussi-malli on tekstin sieventävä esitys, joka kuvaa sanojen esiintymistä dokumentissa jättäen kieliopin ja sanojen järjestyksen huomiotta.

Key Concepts

  • Tokenisointi
  • Taajuuslaskenta
  • Vektoritila
  • Ominaisuuspoiminta

Use Cases

  • Tekstiluokittelu
  • Roskapostin suodatus
  • Tietohaku

Code Example

1
2
3
4

from sklearn.feature_extraction.text import CountVectorizer
corpus = ["Hello world", "World hello"]
vectorizer = CountVectorizer()
X = vectorizer.fit_transform(corpus)

Related