Бэкдор-атака (Атака через скрытый канал)

term_id: backdoor_attack

Category: ethics_safety

Definition

Бэкдор-атака включает отравление обучающих данных машинного обучения специфическими паттернами, известными как триггеры. Хотя модель работает нормально на чистых данных, она активирует неверное поведение

Summary

Угроза безопасности, при которой злоумышленники внедряют скрытые триггеры в модели ИИ во время обучения для вызова специфических ошибок классификации.

Key Concepts

  • Отравление данных
  • Целостность модели
  • Состязательное машинное обучение
  • Триггерные паттерны

Use Cases

  • Тестирование безопасности конвейеров машинного обучения
  • Разработка защитных фильтров
  • Аудит сторонних моделей