Adverzální útok

term_id: adversarial_attack

Category: ethics_safety

Definition

Adverzální útoky využívají zranitelnosti neuronových sítí zavedením jemného šumu do vstupů, jako jsou obrázky nebo text, což způsobuje významné chyby ve výstupu modelu. Tyto útoky zvýrazňují slabiny modelů v reakci na mírné změny vstupních dat.

Summary

Adverzální útok je technika, při které jsou k vstupním datům přidány malé, často nepostřehnutelné poruchy, aby bylo strojové učení zklamáno a vedlo k nesprávným předpovědím.

Key Concepts

  • Porucha (perturbace)
  • Robustnost modelu
  • Útoky typu white-box versus black-box
  • Útoky na vyhybávání se (evasion attacks)

Use Cases

  • Testování bezpečnosti modelu
  • Generování adverzálních příkladů pro trénink
  • Analýza zranitelností v systémech počítačového vidění