חקירת נתונים

term_id: data_exploration

Category: training_techniques

Definition

חקירת נתונים, המכונה לעיתים קרובות ניתוח נתונים מחקרתי (EDA), היא שלב מקדים קריטי בעבודות למידת מכונה. היא כוללת סיכום התכונות העיקריות של הנתונים, לרוב באמצעות ויזואליזציה וסטטיסטיקה תיאורית.

Summary

הניתוח הראשוני של ערכות נתונים לגילוי דפוסים, זיהוי חריגים ובדיקת הנחות יסוד לפני בניית מודל פורמלי.

Key Concepts

  • ניתוח נתונים מחקרתי
  • ויזואליזציה
  • זיהוי דפוסים
  • זיהוי חריגים

Use Cases

  • זיהוי מתאמים בין מאפיינים לפני אימון המודל
  • זיהוי וטיפול בערכים חסרים או בעלי ערך קיצוני (Outliers)
  • אימות איכות הנתונים והנחות היסוד לגבי התפלגותם

Code Example

1
2
3
4
5

import pandas as pd
import seaborn as sns
df = pd.read_csv('data.csv')
sns.pairplot(df)
plt.show()

Related