Джейлбрейк (взлом ограничений)
term_id: jailbreak
Category: ethics_safety
Definition
Джейлбрейк включает создание специфических входных данных или запросов, которые заставляют ИИ-модель игнорировать встроенные правила безопасности и генерировать запрещенный контент, такой как разжигание ненависти или опасные инструкции.
Summary
Техника промпт-инжиниринга, предназначенная для обхода фильтров безопасности и этических ограничений ИИ-модели.
Key Concepts
- Инъекция промптов
- Фильтры безопасности
- Красное тестирование (Red Teaming)
- Выравнивание (Alignment)
Use Cases
- Тестирование в рамках исследований безопасности
- Злонамеренная генерация вредоносного контента
- Оценка устойчивости модели к атакам