Váltsunk meg néhány pixelt egy képen, és az osztályozó valami egészen mást lát. Adjunk hozzá egy észrevehetetlen zajt egy stoptáblához, és egy önvezető rendszer sebességkorlátozásként értelmezheti azt. Ezek a mesterségesen létrehozott bemenetek ellentétes példák, és rávilágítanak arra, hogy a gépek és az emberek mennyire eltérően érzékelik a világot.

A kutatók úgy generálják ezeket, hogy kiszámítják a modell veszteségének gradiensét a bemenethez képest, majd a bemenetet a hiba maximalizálása érdekében eltolva. A változás gyakran láthatatlan a szem számára. A gyors gradiens előjel módszer és a vetített gradiens süllyedés két gyakori technika.

Miért fontosak?

• A biztonsági rendszerek szándékosan is becsaphatók
• Az önvezető járművek félreértelmezhetik a jelzéseket
• Az orvosi képalkotó modellek manipulálhatók
• A beszédrendszereket rejtett hanggal lehet támadni

Léteznek védekezési módok, beleértve az ellenségeskedésre való felkészülést és a bemeneti adatok tisztítását, de egyik sem teljesen megbízható. Minden új védelmet hajlamos feltörni egy új támadás, ami mozgásban tartja a mezőnyt.