Model worka słów
term_id: bag_of_words_model
Category: basic_concepts
Definition
Ta technologia przetwarzania języka naturalnego reprezentuje tekst jako multizbiór słów, pomijając składnię i sekwencję. Przekształca dokumenty wektory liczbowe oparte na częstotliwości występowania słów lub ich obecności.
Summary
Model worka słów to uproszczona reprezentacja tekstu opisująca występowanie słów w dokumencie, ignorująca gramatykę i kolejność słów.
Key Concepts
- Tokenizacja
- Liczenie częstotliwości
- Przestrzeń wektorowa
- Ekstrakcja cech
Use Cases
- Klasyfikacja tekstu
- Filtrowanie spamu
- Wyszukiwanie informacji
Code Example
from sklearn.feature_extraction.text import CountVectorizer
corpus = ["Hello world", "World hello"]
vectorizer = CountVectorizer()
X = vectorizer.fit_transform(corpus)