הזרקת הנחיה
term_id: prompt_injection
Category: ethics_safety
Definition
הזרקת הנחיה מנצלת את הדרך שבה מודלי שפה גדולים מפרשים הוראות משתמש, על ידי הטמעת הנחיות נסתרות או סותרות בתוך טקסט הקלט. פעולה זו עשויה לגרום למודל להתעלם מההנחיות המקוריות שלו.
Summary
מתקפה אדוורסריאלית שבה קלטים זדוניים משנים את התנהגות מודל AI כדי לעקוף מסנני בטיחות או לבצע פקודות לא מתוכננות.
Key Concepts
- מתקפות אדוורסריאליות
- הנחיות מערכת
- סיכוני אבטחה
- חיטוי קלט
Use Cases
- בדיקות אבטחה של LLM
- בטיחות צ’אטבוטים
- הגנה על פרטיות נתונים