Leave-One-Out-Cross-Validation

term_id: leave_one_out_cross_validation

Category: basic_concepts

Definition

Die Leave-One-Out-Cross-Validation (LOOCV) ist ein spezieller Fall der k-Fold-Cross-Validation, bei dem k gleich der Anzahl der Stichproben im Datensatz ist. Sie liefert eine nahezu unverzerrte Schätzung der Modellleistung, indem…

Summary

Eine strenge Resampling-Technik, bei der das Modell mit allen bis auf eine Stichprobe trainiert und mit dieser einzelnen zurückgehaltenen Stichprobe getestet wird, wobei dieser Vorgang für jeden Datenpunkt wiederholt wird.

Key Concepts

  • Resampling
  • Modellbewertung
  • Bias-Varianz-Kompromiss
  • Berechnungskosten

Use Cases

  • Bewertung von Modellen auf kleinen medizinischen Datensätzen
  • Hyperparameter-Tuning bei knappen Daten
  • Strenge Vergleich der Algorithmenleistung

Code Example

1
2
3
4
5
6
7

from sklearn.model_selection import LeaveOneOut
loo = LeaveOneOut()
for train_index, test_index in loo.split(X):
    X_train, X_test = X[train_index], X[test_index]
    y_train, y_test = y[train_index], y[test_index]
    model.fit(X_train, y_train)
    score = model.score(X_test, y_test)

Related