Explainability

term_id: explainability

Category: ethics_safety

Definition

Dette koncept adresserer ‘sort boks’-problemet i komplekse AI-systemer ved at give indsigt i, hvordan modeller når frem til specifikke forudsigelser. Teknikker som SHAP eller LIME hjælper med at visualisere funktioners vigtighed og bidrag til modellens beslutninger.

Summary

Explainability refererer til det grad, hvori et menneske kan forstå årsagen til en beslutning truffet af en AI-model.

Key Concepts

  • Fortolkelighed
  • Sort boks-problemet
  • Tillid
  • Bias-detektion

Use Cases

  • Revision af lånegodkendelsesalgoritmer for retfærdighed
  • Diagnostik af medicinske billedmodeller for klinikere
  • Regulatorisk overholdelse i finansiel risikovurdering

Code Example

1
2
3
4
5
6
7

import shap
import numpy as np

# Assuming model is a trained scikit-learn model
explainer = shap.TreeExplainer(model)
shap_values = explainer.shap_values(X_test)
shap.summary_plot(shap_values, X_test)

Related