A estrada é um ambiente hostil para o software. Outros condutores comportam-se de maneira imprevisível. Os peões atravessam a rua sem aviso prévio. Chuva, reflexos e faixas de rodagem apagadas prejudicam a leitura dos sensores. Os veículos autónomos têm de lidar com tudo isto em tempo real, sem margem para acidentes.

A perceção combina câmaras, radar e lidar para construir um modelo do ambiente. O planeamento calcula uma trajetória segura. O controlo executa a direção, a aceleração e a travagem. Cada camada depende das outras, e as falhas propagam-se rapidamente.

Níveis de autonomia

• Nível 0, sem automatização
• Nível 1, assistência ao condutor, como o cruise control adaptativo.
• Nível 2, automatização parcial com as mãos no volante.
• Nível 3, automatização condicional com um driver de contingência.
• Nível 4, elevada automatização em áreas definidas.
• Nível 5, automatização completa em todos os lugares

A implementação é ainda limitada. Os robôs-táxi operam em cidades selecionadas com condutores de segurança ou monitorização remota. A condução totalmente autónoma em condições arbitrárias não está disponível comercialmente, e o horário continua a ser adiado.