Thị giác máy tính cho phép robot có khả năng diễn giải thông tin hình ảnh. Camera thu nhận hình ảnh. Thuật toán trích xuất ý nghĩa: các cạnh, hình dạng, vật thể, khuôn mặt, chuyển động. Robot sử dụng ý nghĩa đó để điều hướng, nhặt đồ, kiểm tra hoặc theo dõi.

Những công nghệ thị giác máy tính thời kỳ đầu dựa trên các quy tắc được lập trình thủ công. Tìm cạnh, khớp mẫu, đo khoảng cách. Nó hoạt động tốt trong điều kiện ánh sáng được kiểm soát và thất bại ở mọi điều kiện khác. Học sâu đã thay đổi điều đó. Mạng nơ-ron tích chập học các đặc điểm từ hình ảnh được gắn nhãn. Chúng có thể nhận ra một con mèo, một vết nứt trong mối hàn hoặc một quả dâu tây chín mà không cần được hướng dẫn phải tìm kiếm gì.

Thị giác máy tính cho phép những gì

• Phát hiện và phân loại đối tượng.
• Ước lượng tư thế để nắm bắt vật thể.
• Điều khiển bằng thị giác để căn chỉnh chính xác.
• Phát hiện lỗi trong sản xuất.
• Định vị và lập bản đồ đồng thời (SLAM).

Thị giác máy tính rất khó nắm bắt vì thế giới phức tạp và hỗn loạn. Ánh sáng thay đổi liên tục. Các vật thể chồng chéo lên nhau. Sự phản chiếu làm nhiễu loạn camera. Một robot hoạt động tốt trong phòng thí nghiệm có thể gặp sự cố trên dây chuyền sản xuất. Các kỹ sư sử dụng nhiều camera, ánh sáng cấu trúc và cảm biến độ sâu để tăng cường độ ổn định. Họ cũng huấn luyện robot trên dữ liệu từ môi trường thực tế, chứ không chỉ trên các tập dữ liệu sạch. Thị giác máy tính là lĩnh vực nghiên cứu năng động nhất trong ngành robot học vì một lý do. Nếu robot có thể nhìn thấy, nó có thể làm được hầu hết mọi thứ. Nếu không, nó chỉ giới hạn ở những chuyển động lặp đi lặp lại và mù quáng.