データ前処理

term_id: data_preprocessing

Category: basic_concepts

Definition

データ前処理は、生データ、構造化されていないデータ、またはノイズを含むデータを、機械学習モデルが効果的に処理できる標準化された形式に変換する不可欠なタスクです。この段階には通常、欠損値の補完、正規化、カテゴリカル変数の変換などが含まれます。

Summary

生データを機械学習アルゴリズムに適したクリーンで一貫性のある形式に変換するプロセス。

Key Concepts

データクリーニング
正規化
エンコーディング
特徴量スケーリング

Use Cases

ニューラルネットワークの収束のために数値入力をスケーリングする
テキストラベルを数値ベクトルに変換する
センサーデータの欠損値を代入する

Code Example

1
2
3
from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
data_scaled = scaler.fit_transform(raw_data)