מסגרות הגנה (Guardrails)
term_id: guardrails
Category: application_paradigms
Definition
מסגרות הגנה מתייחסות לקבוצה של בקרי תוכנה ושכבות אכיפת מדיניות המשולבות באפליקציות בינה מלאכותית, ובפרט במודלים שפה גדולים (LLMs), כדי להבטיח התנהגות בטוחה ועומדת בדרישות הרגולציה. הן פועלות כמסננות המנטרות קלט ופלט, חוסמות בקשות זדוניות ומאכופות כללי התנהגות מקובלים, ובכך מפחיתות סיכונים הקשורים להטיות, לשימוש לרעה או ליציאת דברים מהקשר.
Summary
מנגנוני בטיחות המיועדים להגביל את פלט דגמי בינה מלאכותית כדי למנוע יצירת תוכן מזיק, משופע או לא מורשה.
Key Concepts
- סינון קלט/פלט
- אכיפת מדיניות
- זיהוי רעילות
- הגנה על הזרקת הנחיות (Prompt Injection)
Use Cases
- בוטים עסקיים הדורשים עמידה קפדנית בדימוי המותג
- עוזרים רפואיים המבטיחים דיוק רפואי ושמירה על פרטיות
- בוטי שירות לקוחות המונעים שימוש בשפה פוגענית