Jellemzőhashelés

term_id: feature_hashing

Category: basic_concepts

Definition

A jellemzőhashelés, más néven hashelési trükk, lehetővé teszi a gépi tanulási modellek számára, hogy kezeljék a nagy, ritka jellemzőtereket anélkül, hogy explicit leképezést kellene fenntartaniuk a jellemzők és az indexek között. A hash-függvény alkalmazásával a jellemzők indexeit közvetlenül a hash érték határozza meg, ami jelentősen csökkenti a memóriahasználatot és egyszerűsíti a feldolgozást nagy méretű adatok esetén.

Summary

Egy technika, amely egy hash-függvény segítségével nagy dimenziójú, ritka jellemzőket rögzített méretű vektorokké térképez át.

Key Concepts

  • Hash-függvény
  • Ritka vektorok
  • Dimenziócsökkentés
  • Memóriahatékonyság

Use Cases

  • Szövegbesorolás nagy szókincs esetén
  • Ajánlórendszerek hatalmas tételszettekkel
  • Valós idejű adatstream-feldolgozás

Code Example

1
2
3
4
5
6
7
8

from sklearn.feature_extraction import FeatureHasher
import numpy as np

# Example: Hashing text features
hasher = FeatureHasher(n_features=10, input_type='string')
docs = ['hello world', 'hello python', 'world python']
hashed = hasher.transform(docs)
print(hashed.toarray())

Related