词袋模型

term_id: bag_of_words_model

Category: basic_concepts

Definition

这种自然语言处理技术将文本表示为单词的多重集， disregarding 句法和序列。它根据词频或存在性将文档转换为数值向量。

Summary

词袋模型是一种简化的文本表示方法，描述文档中单词的出现情况，忽略语法和词序。

Key Concepts

  • 分词
  • 频率统计
  • 向量空间
  • 特征提取

Use Cases

  • 文本分类
  • 垃圾邮件过滤
  • 信息检索

Code Example

1
2
3
4

from sklearn.feature_extraction.text import CountVectorizer
corpus = ["Hello world", "World hello"]
vectorizer = CountVectorizer()
X = vectorizer.fit_transform(corpus)

Related