Đường sá là một môi trường khắc nghiệt đối với phần mềm. Các tài xế khác hành xử khó đoán. Người đi bộ bất ngờ lao ra đường. Mưa, ánh sáng chói và vạch kẻ đường mờ làm suy giảm chất lượng dữ liệu đầu vào của cảm biến. Xe tự lái phải xử lý tất cả những điều này trong thời gian thực, không được phép xảy ra va chạm.

Hệ thống nhận thức kết hợp camera, radar và lidar để xây dựng mô hình môi trường xung quanh. Hệ thống lập kế hoạch tính toán lộ trình an toàn. Hệ thống điều khiển thực hiện việc lái, tăng tốc và phanh. Mỗi lớp đều phụ thuộc vào các lớp khác, và sự cố có thể lan truyền nhanh chóng.

Mức độ tự chủ

• Cấp độ 0, không có tự động hóa
• Cấp độ 1, hỗ trợ người lái như kiểm soát hành trình thích ứng
• Cấp độ 2, tự động hóa một phần, vẫn cần người lái điều khiển vô lăng.
• Cấp độ 3, tự động hóa có điều kiện với trình điều khiển dự phòng
• Cấp độ 4, tự động hóa cao trong các khu vực được xác định.
• Cấp độ 5, tự động hóa hoàn toàn mọi nơi

Việc triển khai vẫn còn hạn chế. Taxi tự lái hiện chỉ hoạt động ở một số thành phố nhất định với tài xế an toàn hoặc giám sát từ xa. Khả năng tự lái hoàn toàn trong mọi điều kiện vẫn chưa được thương mại hóa và tiến độ triển khai liên tục bị trì hoãn.