Chỉ cần thay đổi một vài pixel trong ảnh, bộ phân loại có thể nhìn nhận nó theo một cách hoàn toàn khác. Thêm một chút nhiễu không đáng kể vào biển báo dừng, và hệ thống xe tự lái có thể hiểu nó là giới hạn tốc độ. Những dữ liệu đầu vào được tạo ra này là các ví dụ đối nghịch, và chúng cho thấy máy móc và con người nhận thức thế giới khác nhau như thế nào.

Các nhà nghiên cứu tạo ra chúng bằng cách tính toán độ dốc của hàm mất mát của mô hình đối với đầu vào, sau đó điều chỉnh đầu vào theo hướng tối đa hóa lỗi. Sự thay đổi thường không thể nhận thấy bằng mắt thường. Phương pháp dấu hiệu độ dốc nhanh và phương pháp giảm độ dốc chiếu là hai kỹ thuật phổ biến.

Tại sao chúng lại quan trọng

• Hệ thống an ninh có thể bị đánh lừa một cách cố ý.
• Xe tự lái có thể hiểu sai biển báo.
• Các mô hình hình ảnh y tế có thể được thao tác.
• Hệ thống nhận dạng giọng nói có thể bị tấn công bằng âm thanh ẩn.

Các biện pháp phòng thủ đã tồn tại, bao gồm huấn luyện đối kháng và lọc dữ liệu đầu vào, nhưng không biện pháp nào hoàn toàn đáng tin cậy. Mỗi biện pháp phòng thủ mới thường bị phá vỡ bởi một cuộc tấn công mới, điều này khiến lĩnh vực này luôn thay đổi.