Xe tự lái cảm nhận môi trường xung quanh và tự vận hành mà không cần sự can thiệp của con người. Nó sử dụng camera, radar, lidar và cảm biến siêu âm để xây dựng hình ảnh về thế giới xung quanh. Phần mềm sau đó lập kế hoạch lộ trình, đưa ra quyết định và điều khiển vô lăng, tăng tốc và phanh. Mục tiêu là tạo ra một chiếc xe không bao giờ mệt mỏi, mất tập trung hay say xỉn.

Khả năng tự lái không phải là nhị phân. Hiệp hội Kỹ sư Ô tô Chuyên nghiệp (SAE) định nghĩa sáu cấp độ. Cấp độ 0 là không có tự động hóa. Cấp độ 1 và 2 hỗ trợ người lái. Cấp độ 3 cho phép xe tự lái trong điều kiện hạn chế, với sự hỗ trợ của người lái khi cần thiết. Cấp độ 4 đảm nhiệm hầu hết việc lái xe mà không cần sự can thiệp của con người, nhưng có thể bị giới hạn theo khu vực địa lý. Cấp độ 5 là hoàn toàn tự động ở mọi nơi, và cấp độ này hiện chưa tồn tại.

Waymo vận hành xe taxi tự lái cấp độ 4 tại Phoenix, San Francisco và Los Angeles. Cruise từng cung cấp dịch vụ tương tự ở San Francisco trước khi các sự cố an toàn buộc phải tạm dừng. Tesla bán hệ thống cấp độ 2 gọi là Full Self-Driving, nhưng thực chất không phải là tự lái hoàn toàn. Khoảng cách giữa quảng cáo và thực tế đã gây ra sự nhầm lẫn và trong một số trường hợp, dẫn đến tai nạn.

Những thách thức về mặt kỹ thuật là vô cùng lớn. Tuyết, mưa và công trình xây dựng làm nhiễu loạn các cảm biến. Người đi bộ hành xử khó đoán trước. Các trường hợp ngoại lệ là vô tận. Các vấn đề pháp lý và đạo đức cũng khó khăn không kém. Khi một vụ va chạm là không thể tránh khỏi, ai sẽ quyết định điều gì sẽ xảy ra? Câu trả lời vẫn đang được viết nên.