הסבריות (Explainability)

term_id: explainability

Category: ethics_safety

Definition

מושג זה מטפל בבעיית ‘הקופסה השחורה’ במערכות AI מורכבות על ידי מתן תובנות כיצד מודלים מגיעים לתחזיות ספציפיות. טכניקות כמו SHAP או LIME עוזרות לנרמל חשיבות תכונות.

Summary

הסבריות מתייחסת למידה שבה אדם יכול להבין את הגורם להחלטה שהתקבלה על ידי מודל בינה מלאכותית.

Key Concepts

  • פרשנות (Interpretability)
  • בעיית הקופסה השחורה (Black Box Problem)
  • אמון (Trust)
  • זיהוי הטיה (Bias Detection)

Use Cases

  • ביקורת על אלגוריתמים לאישור הלוואות לשקיפות והוגנות
  • אבחון מודלי הדמיה רפואית עבור קלינאים
  • עמידה ברגולציה בהערכת סיכונים פיננסיים

Code Example

1
2
3
4
5
6
7

import shap
import numpy as np

# Assuming model is a trained scikit-learn model
explainer = shap.TreeExplainer(model)
shap_values = explainer.shap_values(X_test)
shap.summary_plot(shap_values, X_test)

Related