Modelul Bag-of-Words

term_id: bag_of_words_model

Category: basic_concepts

Definition

Această tehnică de procesare a limbajului natural reprezintă textul ca un multiset de cuvinte, ignorând sintaxa și secvența. Converteste documentele în vectori numerici pe baza frecvenței sau prezenței cuvintelor. Cuv…

Summary

Modelul Bag-of-Words este o reprezentare simplificatoare a textului care descrie apariția cuvintelor într-un document, ignorând gramatica și ordinea cuvintelor.

Key Concepts

  • Tokenizare
  • Numărarea frecvenței
  • Spațiu vectorial
  • Extragerea caracteristicilor

Use Cases

  • Clasificarea textului
  • Filtrarea spam-ului
  • Recuperarea informațiilor

Code Example

1
2
3
4

from sklearn.feature_extraction.text import CountVectorizer
corpus = ["Hello world", "World hello"]
vectorizer = CountVectorizer()
X = vectorizer.fit_transform(corpus)

Related