Mô hình túi từ

term_id: bag_of_words_model

Category: basic_concepts

Definition

Kỹ thuật xử lý ngôn ngữ tự nhiên này biểu diễn văn bản dưới dạng tập hợp đa nguyên của các từ, bỏ qua cú pháp và trình tự. Nó chuyển đổi các tài liệu thành các vectơ số dựa trên tần suất hoặc sự hiện diện của từ. W

Summary

Mô hình túi từ là cách biểu diễn đơn giản hóa văn bản, mô tả tần suất xuất hiện của các từ trong tài liệu, bỏ qua ngữ pháp và thứ tự từ.

Key Concepts

  • Phân đoạn từ (Tokenization)
  • Đếm tần suất
  • Không gian vectơ
  • Trích xuất đặc trưng

Use Cases

  • Phân loại văn bản
  • Lọc thư rác
  • Tìm kiếm thông tin

Code Example

1
2
3
4

from sklearn.feature_extraction.text import CountVectorizer
corpus = ["Hello world", "World hello"]
vectorizer = CountVectorizer()
X = vectorizer.fit_transform(corpus)

Related