Feature Hashing

term_id: feature_hashing

Category: basic_concepts

Definition

O feature hashing, também conhecido como truque de hash, permite que modelos de aprendizado de máquina lidem com espaços de features grandes e esparsos sem manter um mapeamento explícito entre features e índices. Ao aplicar uma função de hash, os dados são comprimidos eficientemente, economizando memória e permitindo o processamento em tempo real.

Summary

Uma técnica que mapeia features esparsos de alta dimensão para um vetor de tamanho fixo usando uma função de hash.

Key Concepts

  • Função de Hash
  • Vetores Esparsos
  • Redução de Dimensionalidade
  • Eficiência de Memória

Use Cases

  • Classificação de texto com grandes vocabulários
  • Sistemas de recomendação com conjuntos massivos de itens
  • Processamento de dados em streaming em tempo real

Code Example

1
2
3
4
5
6
7
8

from sklearn.feature_extraction import FeatureHasher
import numpy as np

# Example: Hashing text features
hasher = FeatureHasher(n_features=10, input_type='string')
docs = ['hello world', 'hello python', 'world python']
hashed = hasher.transform(docs)
print(hashed.toarray())

Related