Токсичность
term_id: toxicity
Category: ethics_safety
Definition
Токсичность в ИИ относится к генерации или распространению контента, который является неуважительным, может заставить пользователя покинуть дискуссию или сфокусирован на конкретной идентичности. Она охватывает спектр от легкой грубости до открытой враждебности и дискриминации.
Summary
Наличие вредоносного, оскорбительного или абьюзивного контента в тексте, сгенерированном ИИ, включая разжигание ненависти, преследование и угрозы.
Key Concepts
- Разжигание ненависти
- Преследование
- Модерация контента
- Этичный ИИ
Use Cases
- Обеспечение безопасности на платформах социальных сетей
- Фильтрация ответов чат-ботов службы поддержки
- Принудительное соблюдение правил сообщества