Erklärbarkeit

term_id: explainability

Category: ethics_safety

Definition

Dieses Konzept adressiert das ‘Black-Box’-Problem in komplexen KI-Systemen, indem es Einblicke darin bietet, wie Modelle zu bestimmten Vorhersagen gelangen. Techniken wie SHAP oder LIME helfen dabei, die Wichtigkeit von Merkmalen zu visualisieren

Summary

Erklärbarkeit bezieht sich auf das Ausmaß, in dem ein Mensch die Ursache einer Entscheidung eines KI-Modells verstehen kann.

Key Concepts

  • Interpretierbarkeit
  • Black-Box-Problem
  • Vertrauen
  • Bias-Erkennung

Use Cases

  • Prüfung von Kreditgenehmigungsalgorithmen auf Fairness
  • Diagnose medizinischer Bildgebungsmodelle durch Kliniker
  • Einhaltung regulatorischer Vorschriften bei der Finanzrisikobewertung

Code Example

1
2
3
4
5
6
7

import shap
import numpy as np

# Assuming model is a trained scikit-learn model
explainer = shap.TreeExplainer(model)
shap_values = explainer.shap_values(X_test)
shap.summary_plot(shap_values, X_test)

Related