Explainability

term_id: explainability

Category: ethics_safety

Definition

Konsep ini mengatasi masalah ‘kotak hitam’ dalam sistem AI kompleks dengan memberikan wawasan tentang bagaimana model mencapai prediksi tertentu. Teknik seperti SHAP atau LIME membantu memvisualisasikan pentingnya fitur dalam pengambilan keputusan.

Summary

Explainability mengacu pada tingkat di mana manusia dapat memahami penyebab keputusan yang dibuat oleh model AI.

Key Concepts

  • Interpretabilitas
  • Masalah Kotak Hitam
  • Kepercayaan
  • Deteksi Bias

Use Cases

  • Mengevaluasi algoritmo persetujuan pinjaman untuk keadilan
  • Mendiagnosis model pencitraan medis bagi klinisi
  • Kepatuhan regulasi dalam penilaian risiko keuangan

Code Example

1
2
3
4
5
6
7

import shap
import numpy as np

# Assuming model is a trained scikit-learn model
explainer = shap.TreeExplainer(model)
shap_values = explainer.shap_values(X_test)
shap.summary_plot(shap_values, X_test)

Related