Regularisierung

term_id: regularization

Category: basic_concepts

Definition

Regularisierung ist ein entscheidendes Konzept im maschinellen Lernen, das darauf abzielt, den Generalisierungsfehler zu reduzieren, ohne den Trainingsfehler signifikant zu erhöhen. Sie wirkt, indem sie Modelle davon abhält, sich zu stark an Rauschen oder spezifische Details in den Trainingsdaten anzupassen.

Summary

Eine Reihe von Techniken, die während des Trainings eingesetzt werden, um Überanpassung zu verhindern, indem Strafterme zur Verlustfunktion hinzugefügt oder die Modellkomplexität eingeschränkt werden.

Key Concepts

  • Überanpassung (Overfitting)
  • Bias-Varianz-Kompromiss (Bias-variance tradeoff)
  • L1-/L2-Strafterm (L1/L2 penalty)
  • Dropout

Use Cases

  • Training tiefer neuronaler Netze
  • Lineare Regressionsmodelle
  • Verhinderung des Auswendiglernens bei kleinen Datensätzen

Code Example

1
2

from sklearn.linear_model import Ridge
model = Ridge(alpha=1.0)

Related