Hashowanie cech

term_id: feature_hashing

Category: basic_concepts

Definition

Hashowanie cech, znane również jako trik haszowania, pozwala modelom uczenia maszynowego radzić sobie z dużymi, rzadkimi przestrzeniami cech bez konieczności utrzymania jawnego mapowania między cechami a indeksami. Poprzez zastosowanie funkcji haszującej, cechy są przekształcane w wektory o stałej długości, co znacząco redukuje zużycie pamięci i ułatwia przetwarzanie danych o wysokiej wymiarowości.

Summary

Technika mapująca wysokowymiarowe, rzadkie cechy na wektor o stałym rozmiarze za pomocą funkcji haszującej.

Key Concepts

  • Funkcja haszująca
  • Wektory rzadkie
  • Redukcja wymiarowości
  • Efektywność pamięciowa

Use Cases

  • Klasyfikacja tekstu z dużymi słownikami
  • Systemy rekomendacyjne z ogromnymi zbiorami przedmiotów
  • Przetwarzanie danych strumieniowych w czasie rzeczywistym

Code Example

1
2
3
4
5
6
7
8

from sklearn.feature_extraction import FeatureHasher
import numpy as np

# Example: Hashing text features
hasher = FeatureHasher(n_features=10, input_type='string')
docs = ['hello world', 'hello python', 'world python']
hashed = hasher.transform(docs)
print(hashed.toarray())

Related