Modelo Bolsa de Palavras
term_id: bag_of_words_model
Category: basic_concepts
Definition
Esta técnica de processamento de linguagem natural representa o texto como um multiconjunto de palavras, desconsiderando sintaxe e sequência. Ela converte documentos em vetores numéricos com base na frequência ou presença de palavras. O
Summary
O modelo bolsa de palavras é uma representação simplificada de texto que descreve a ocorrência de palavras em um documento, ignorando gramática e ordem das palavras.
Key Concepts
- Tokenização
- Contagem de Frequência
- Espaço Vetorial
- Extração de Características
Use Cases
- Classificação de texto
- Filtragem de spam
- Recuperação de informação
Code Example
from sklearn.feature_extraction.text import CountVectorizer
corpus = ["Hello world", "World hello"]
vectorizer = CountVectorizer()
X = vectorizer.fit_transform(corpus)