Ubahlah beberapa piksel dalam sebuah gambar dan pengklasifikasi akan melihat sesuatu yang sama sekali berbeda. Tambahkan noise yang hampir tak terlihat pada rambu berhenti dan sistem pengemudi otomatis mungkin akan membacanya sebagai batas kecepatan. Masukan yang dirancang sedemikian rupa ini adalah contoh-contoh yang bersifat antagonistik, dan hal ini menunjukkan betapa berbedanya mesin dan manusia dalam mempersepsikan dunia.

Para peneliti menghasilkannya dengan menghitung gradien kerugian model terhadap input, kemudian menggeser input ke arah yang memaksimalkan kesalahan. Perubahan tersebut seringkali tidak terlihat oleh mata. Metode tanda gradien cepat dan penurunan gradien terproyeksi adalah dua teknik umum.

Mengapa hal itu penting

• Sistem keamanan dapat ditipu secara sengaja.
• Kendaraan otonom mungkin salah membaca rambu-rambu.
• Model pencitraan medis dapat dimanipulasi.
• Sistem pengenalan suara dapat diserang dengan audio tersembunyi.

Terdapat berbagai mekanisme pertahanan, termasuk pelatihan lawan dan sanitasi input, tetapi tidak ada yang sepenuhnya dapat diandalkan. Setiap pertahanan baru cenderung ditembus oleh serangan baru, yang membuat bidang ini terus berkembang.