Ændr et par pixels i et billede, og en klassifikator ser noget helt andet. Tilføj umærkelig støj til et stopskilt, og et selvkørende system kan læse det som en hastighedsgrænse. Disse fremstillede input er eksempler på modstridende elementer, og de afslører, hvor forskelligt maskiner og mennesker opfatter verden.

Forskere genererer dem ved at beregne gradienten af ​​modellens tab i forhold til inputtet og derefter skubbe inputtet i den retning, der maksimerer fejlen. Ændringen er ofte usynlig for øjet. Fast gradient sign-metoden og projected gradient descent er to almindelige teknikker.

Hvorfor de betyder noget

• Sikkerhedssystemer kan narres bevidst
• Selvkørende køretøjer kan misforstå skilte
• Medicinske billedmodeller kan manipuleres
• Talesystemer kan angribes med skjult lyd

Der findes forsvar, herunder træning af modstandere og inputrensning, men ingen er fuldt ud pålidelige. Hvert nyt forsvar har en tendens til at blive brudt af et nyt angreb, hvilket holder banen i gang.