Endre noen få piksler i et bilde, og en klassifiseringsenhet ser noe helt annet. Legg til umerkelig støy i et stoppskilt, og et selvkjørende system kan lese det som en fartsgrense. Disse håndlagde inndataene er eksempler på motstridende elementer, og de avslører hvor forskjellig maskiner og mennesker oppfatter verden.

Forskere genererer dem ved å beregne gradienten til modellens tap i forhold til input, og deretter dytte input i den retningen som maksimerer feilen. Endringen er ofte usynlig for øyet. Rask gradienttegnmetode og projisert gradientnedstigning er to vanlige teknikker.

Hvorfor de er viktige

• Sikkerhetssystemer kan bli lurt med vilje
• Selvkjørende kjøretøy kan misforstå skilt
• Medisinske bildemodeller kan manipuleres
• Talesystemer kan angripes med skjult lyd

Forsvar finnes, inkludert motstandertrening og input-sanering, men ingen av dem er helt pålitelige. Hvert nytt forsvar har en tendens til å bli brutt av et nytt angrep, noe som holder banen i bevegelse.