Explainability

term_id: explainability

Category: ethics_safety

Definition

Dette konseptet adresserer ‘svarteboks’-problemet i komplekse AI-systemer ved å gi innsikt i hvordan modellene kommer frem til spesifikke prediksjoner. Teknikker som SHAP eller LIME hjelper med å visualisere funksjonsbetydning.

Summary

Explainability refererer til graden av forståelse en menneskelig bruker har for årsaken til en beslutning tatt av en AI-modell.

Key Concepts

  • Fortolkbarhet
  • Svarteboks-problemet
  • Tillit
  • Bias-deteksjon

Use Cases

  • Revisjon av algoritmer for lånegodkjennelse for rettferdighet
  • Diagnostisering av medisinske billedbehandlingsmodeller for klinikere
  • Regulatorisk etterlevelse i finansiel risikovurdering

Code Example

1
2
3
4
5
6
7

import shap
import numpy as np

# Assuming model is a trained scikit-learn model
explainer = shap.TreeExplainer(model)
shap_values = explainer.shap_values(X_test)
shap.summary_plot(shap_values, X_test)

Related