אינטרפרטביליות מכניסטית
term_id: mechanistic_interpretability
Category: basic_concepts
Definition
אינטרפרטביליות מכניסטית מתמקדת בהנדסה לאחור של רשתות נוירונים כדי להבין כיצד הן מחשבות פונקציות ספציפיות ברמת הנוירונים הבודדים, המשקולות והמעגלים. במקום להתייחס למודל כקופסה שחורה, הגישה הזו מנסה לחשוף את הלוגיקה הפנימית והאלגוריתמית שמאחורי התוצאות.
Summary
גישה להבנת מודלי בינה מלאכותית באמצעות ניתוח רכיבים ומנגנונים פנימיים שלהם, במקום רק התנהגות הקלט-פלט.
Key Concepts
- מעגלים נוירליים
- ניתוח סיבתי
- ויזואליזציה של תכונות
- שקיפות מודל
Use Cases
- ביקורת על בטיחות המודל
- הבנת יכולות היסק
- ניפוי באגים בהתנהגויות בלתי צפויות