Инъекция промпта
term_id: prompt_injection
Category: ethics_safety
Definition
Инъекция промпта эксплуатирует способ, которым большие языковые модели интерпретируют инструкции пользователя, внедряя скрытые или противоречивые директивы непосредственно в текст ввода. Это может заставить модель игнорировать свои первоначальные системные инструкции и выполнять действия, не предусмотренные разработчиком.
Summary
Вредоносная атака, при которой злонамеренные входные данные манипулируют ИИ-моделью для обхода фильтров безопасности или выполнения непреднамеренных команд.
Key Concepts
- Атакующие методы (Adversarial attacks)
- Системные промпты
- Риски безопасности
- Санитизация ввода
Use Cases
- Тестирование безопасности LLM
- Безопасность чат-ботов
- Защита конфиденциальности данных