Datankartoitus

term_id: data_exploration

Category: training_techniques

Definition

Datankartoitus, jota kutsutaan usein myös eksploratiiviseksi data-analyysiksi (EDA), on kriittinen alustava vaihe koneoppimisessa. Se sisältää datan pääominaisuuksien tiivistämisen, usein käyttäen visualisointia ja tilastollisia menetelmiä ymmärtääkseen datan rakennetta ja laatua ennen mallin kehitystä.

Summary

Alkuperäinen analyysi tietojoukoista kuvioiden löytämiseksi, poikkeavuuksien havaitsemiseksi ja hypoteesien testaamiseksi ennen virallista mallintamista.

Key Concepts

  • Eksploratiivinen data-analyysi
  • Visualisointi
  • Kuviontunnistus
  • Poikkeavuuden havaitseminen

Use Cases

  • Ominaisuuksien välisten korrelaatioiden tunnistaminen ennen mallin koulutusta
  • Puuttuvien arvojen tai ääriarvojen havaitseminen ja käsittely
  • Datalaadun ja jakauma-oletusten validointi

Code Example

1
2
3
4
5

import pandas as pd
import seaborn as sns
df = pd.read_csv('data.csv')
sns.pairplot(df)
plt.show()

Related