غيّر بضعة بكسلات في صورة، وسيرى المصنف شيئًا مختلفًا تمامًا. أضف تشويشًا غير محسوس إلى إشارة توقف، وقد يقرأها نظام القيادة الذاتية على أنها حد للسرعة. هذه المدخلات المصممة خصيصًا هي أمثلة معادية، وهي تكشف كيف تختلف طريقة إدراك الآلات والبشر للعالم.

يقوم الباحثون بإنشاء هذه النتائج عن طريق حساب تدرج دالة الخسارة للنموذج بالنسبة للمدخلات، ثم تعديل المدخلات في الاتجاه الذي يزيد الخطأ إلى أقصى حد. غالبًا ما يكون هذا التغيير غير مرئي للعين المجردة. تُعد طريقة إشارة التدرج السريع وطريقة هبوط التدرج المُسقط من التقنيات الشائعة في هذا المجال.

لماذا هم مهمون؟

• يمكن خداع أنظمة الأمان عمداً
• قد تسيء المركبات ذاتية القيادة قراءة الإشارات
• يمكن التلاعب بنماذج التصوير الطبي
• يمكن مهاجمة أنظمة الكلام باستخدام الصوت الخفي

توجد وسائل دفاعية، بما في ذلك التدريب على مواجهة الخصوم وتنقية المدخلات، لكن لا يوجد أي منها موثوق تمامًا. فكل وسيلة دفاعية جديدة غالبًا ما تُخترق بهجوم جديد، مما يُبقي الساحة في حالة حركة مستمرة.