Explainability

term_id: explainability

Category: ethics_safety

Definition

Detta begrepp adresserar “black box”-problemet i komplexa AI-system genom att ge insikt i hur modeller kommer fram till specifika prediktioner. Tekniker som SHAP eller LIME hjälper till att visualisera funktionsviktigh

Summary

Explainability syftar på den grad till vilken en människa kan förstå orsaken till ett beslut fattat av en AI-modell.

Key Concepts

  • Intepretabilitet
  • Black box-problemet
  • Tillit
  • Biasdetektering

Use Cases

  • Revision av algoritmer för lånegodkännanden för rättvisa
  • Diagnostisering av medicinska bildmodeller för kliniker
  • Regulatorisk efterlevnad vid bedömning av finansiell risk

Code Example

1
2
3
4
5
6
7

import shap
import numpy as np

# Assuming model is a trained scikit-learn model
explainer = shap.TreeExplainer(model)
shap_values = explainer.shap_values(X_test)
shap.summary_plot(shap_values, X_test)

Related