Droga to nieprzyjazne środowisko dla oprogramowania. Inni kierowcy zachowują się nieprzewidywalnie. Piesi wychodzą bez ostrzeżenia. Deszcz, oślepiające światło i wyblakłe oznaczenia pasów ruchu pogarszają jakość sygnału z czujników. Pojazdy autonomiczne muszą radzić sobie z tym wszystkim w czasie rzeczywistym, bez ryzyka kolizji.

Percepcja łączy kamery, radar i lidar, aby zbudować model otoczenia. Planowanie oblicza bezpieczną trasę. Kontrola wykonuje sterowanie, przyspieszanie i hamowanie. Każda warstwa jest zależna od pozostałych, a awarie szybko narastają.

Poziomy autonomii

• Poziom 0, brak automatyzacji
• Poziom 1, pomoc kierowcy, np. adaptacyjny tempomat
• Poziom 2, częściowa automatyzacja z obsługą ręczną
• Poziom 3, automatyzacja warunkowa ze sterownikiem zapasowym
• Poziom 4, wysoka automatyzacja w określonych obszarach
• Poziom 5, pełna automatyzacja wszędzie

Wdrożenie pozostaje ograniczone. Robotaksówki działają w wybranych miastach z kierowcami bezpieczeństwa lub zdalnym monitoringiem. W pełni autonomiczna jazda w dowolnych warunkach nie jest dostępna komercyjnie, a termin wdrożenia jest coraz bardziej opóźniony.