Αλλάξτε μερικά pixel σε μια εικόνα και ένας ταξινομητής βλέπει κάτι εντελώς διαφορετικό. Προσθέστε ανεπαίσθητο θόρυβο σε ένα σήμα στοπ και ένα σύστημα αυτόνομης οδήγησης μπορεί να το ερμηνεύσει ως όριο ταχύτητας. Αυτά τα κατασκευασμένα δεδομένα εισόδου αποτελούν αντικρουόμενα παραδείγματα και αποκαλύπτουν πόσο διαφορετικά αντιλαμβάνονται τον κόσμο οι μηχανές και οι άνθρωποι.

Οι ερευνητές τα δημιουργούν υπολογίζοντας την κλίση της απώλειας του μοντέλου σε σχέση με την είσοδο και, στη συνέχεια, ωθώντας την είσοδο προς την κατεύθυνση που μεγιστοποιεί το σφάλμα. Η αλλαγή είναι συχνά αόρατη στο μάτι. Η μέθοδος του γρήγορου προσήμου κλίσης και η προβαλλόμενη κάθοδος κλίσης είναι δύο συνηθισμένες τεχνικές.

Γιατί έχουν σημασία

• Τα συστήματα ασφαλείας μπορούν να ξεγελαστούν σκόπιμα
• Τα αυτόνομα οχήματα ενδέχεται να μην διαβάζουν σωστά τις πινακίδες
• Τα μοντέλα ιατρικής απεικόνισης μπορούν να χειραγωγηθούν
• Τα συστήματα ομιλίας μπορούν να δεχθούν επίθεση με κρυφό ήχο

Υπάρχουν άμυνες, συμπεριλαμβανομένης της εκπαίδευσης αντιπάλων και της εξυγίανσης των εισροών, αλλά καμία δεν είναι πλήρως αξιόπιστη. Κάθε νέα άμυνα τείνει να διακόπτεται από μια νέα επίθεση, η οποία διατηρεί το πεδίο σε κίνηση.