Magyarázhatóság (Explainability)

term_id: explainability

Category: ethics_safety

Definition

Ez a fogalom a komplex AI rendszerek ‘fekete doboz’ problémájára ad választ, betekintést nyújtva abba, hogyan jutnak el a modellek specifikus előrejelzésekhez. A SHAP vagy LIME hasonló technikák segítenek vizualizálni a jellemzők fontosságát.

Summary

A magyarázhatóság azt jelenti, hogy egy ember mennyire képes megérteni egy AI modell által hozott döntés okait.

Key Concepts

  • Érthetőség (Interpretability)
  • Fekete doboz probléma
  • Bizalom
  • Torzítás felismerése

Use Cases

  • Hiteljóváhagyási algoritmusok auditálása az igazságosság érdekében
  • Orvosi képalkotó modellek diagnosztizálása klinikusok számára
  • Szabályozási megfelelés pénzügyi kockázatértékelésnél

Code Example

1
2
3
4
5
6
7

import shap
import numpy as np

# Assuming model is a trained scikit-learn model
explainer = shap.TreeExplainer(model)
shap_values = explainer.shap_values(X_test)
shap.summary_plot(shap_values, X_test)

Related