Model worka słów

term_id: bag_of_words_model

Category: basic_concepts

Definition

Ta technologia przetwarzania języka naturalnego reprezentuje tekst jako multizbiór słów, pomijając składnię i sekwencję. Przekształca dokumenty wektory liczbowe oparte na częstotliwości występowania słów lub ich obecności.

Summary

Model worka słów to uproszczona reprezentacja tekstu opisująca występowanie słów w dokumencie, ignorująca gramatykę i kolejność słów.

Key Concepts

  • Tokenizacja
  • Liczenie częstotliwości
  • Przestrzeń wektorowa
  • Ekstrakcja cech

Use Cases

  • Klasyfikacja tekstu
  • Filtrowanie spamu
  • Wyszukiwanie informacji

Code Example

1
2
3
4

from sklearn.feature_extraction.text import CountVectorizer
corpus = ["Hello world", "World hello"]
vectorizer = CountVectorizer()
X = vectorizer.fit_transform(corpus)

Related