Μοντέλο Σακούλας Λέξεων

term_id: bag_of_words_model

Category: basic_concepts

Definition

Αυτή η τεχνική επεξεργασίας φυσικής γλώσσας αναπαριστά το κείμενο ως ένα πολυσύνολο λέξεων, αδιαφορώντας για τη σύνταξη και τη σειρά. Μετατρέπει τα έγγραφα σε αριθμητικά διανύσματα με βάση τη συχνότητα ή την παρουσία των λέξεων.

Summary

Το μοντέλο σακούλας λέξεων είναι μια απλοποιημένη αναπαράσταση κειμένου που περιγράφει τη συχνότητα εμφάνισης των λέξεων σε ένα έγγραφο, αγνοώντας τη γραμματική και τη σειρά των λέξεων.

Key Concepts

  • Τοκιοποίηση
  • Καταμέτρηση συχνοτήτων
  • Χώρος διανυσμάτων
  • Εξαγωγή χαρακτηριστικών

Use Cases

  • Ταξινόμηση κειμένου
  • Φιλτράρισμα αλληλογραφίας spam
  • Ανάκτηση πληροφοριών

Code Example

1
2
3
4

from sklearn.feature_extraction.text import CountVectorizer
corpus = ["Hello world", "World hello"]
vectorizer = CountVectorizer()
X = vectorizer.fit_transform(corpus)

Related