Jalan raya merupakan lingkungan yang tidak ramah bagi perangkat lunak. Pengemudi lain berperilaku tidak terduga. Pejalan kaki tiba-tiba menyeberang tanpa peringatan. Hujan, silau, dan marka jalan yang pudar menurunkan kualitas input sensor. Kendaraan otonom harus menangani semua itu secara real-time, tanpa ruang untuk terjadinya kecelakaan.

Persepsi menggabungkan kamera, radar, dan lidar untuk membangun model lingkungan sekitar. Perencanaan menghitung jalur yang aman. Kontrol mengeksekusi kemudi, akselerasi, dan pengereman. Setiap lapisan bergantung pada lapisan lainnya, dan kegagalan dapat dengan cepat menimbulkan efek domino.

Tingkat otonomi

• Level 0, tanpa otomatisasi
• Level 1, fitur bantuan pengemudi seperti adaptive cruise control.
• Level 2, otomatisasi parsial dengan kendali manual.
• Level 3, otomatisasi bersyarat dengan driver cadangan.
• Level 4, otomatisasi tinggi di area tertentu
• Level 5, otomatisasi penuh di mana-mana

Penerapannya masih terbatas. Robotaxi beroperasi di kota-kota tertentu dengan pengemudi pengaman atau pemantauan jarak jauh. Kemampuan mengemudi otomatis sepenuhnya dalam kondisi apa pun belum tersedia secara komersial, dan tenggat waktunya terus tertunda.