किसी छवि में कुछ पिक्सल बदलने से क्लासिफायर को कुछ और ही दिखाई देता है। स्टॉप साइन में मामूली शोर जोड़ने से सेल्फ-ड्राइविंग सिस्टम उसे गति सीमा समझ सकता है। ये सुनियोजित इनपुट प्रतिकूल उदाहरण हैं, और ये दर्शाते हैं कि मशीनें और मनुष्य दुनिया को कितनी अलग तरह से समझते हैं।

शोधकर्ता इनपुट के सापेक्ष मॉडल के लॉस के ग्रेडिएंट की गणना करके और फिर इनपुट को उस दिशा में समायोजित करके इन्हें उत्पन्न करते हैं जिससे त्रुटि अधिकतम हो जाती है। यह परिवर्तन अक्सर आँखों से दिखाई नहीं देता। फास्ट ग्रेडिएंट साइन विधि और प्रोजेक्टेड ग्रेडिएंट डिसेंट दो सामान्य तकनीकें हैं।

वे क्यों मायने रखते हैं

• सुरक्षा प्रणालियों को जानबूझकर धोखा दिया जा सकता है
• स्वायत्त वाहन संकेतों को गलत समझ सकते हैं
• मेडिकल इमेजिंग मॉडल में हेरफेर किया जा सकता है
• छिपे हुए ऑडियो के माध्यम से वाक् प्रणालियों पर हमला किया जा सकता है।

विरोधी प्रशिक्षण और इनपुट सैनिटाइजेशन सहित कई बचाव उपाय मौजूद हैं, लेकिन कोई भी पूरी तरह से विश्वसनीय नहीं है। प्रत्येक नया बचाव उपाय किसी नए हमले से विफल हो जाता है, जिससे खेल में निरंतर बदलाव होता रहता है।