Roboti vnímají, plánují a jednají. Tato oblast propojuje mechanický design, teorii řízení, vnímání a stále více strojové učení. Průmyslová ramena, skladová vozidla, chirurgické systémy a drony spadají pod jeden celek.

Vnímání proměňuje data ze senzorů v model světa. Plánování vypočítává cestu nebo posloupnost akcí. Řízení provádí tyto akce se zpětnou vazbou. Každá vrstva má své vlastní režimy selhání a integrace je často tou nejtěžší částí.

Běžné domény robotiky

• Průmyslová manipulace
• Mobilní roboti a navigace
• Humanoidní a roboti s nohama
• Lékařská a chirurgická robotika
• Zemědělští a polní roboti
• Rojová robotika

Reálné prostředí je chaotické. Osvětlení se mění, objekty se pohybují a lidé se chovají nepředvídatelně. Robot, který pracuje v laboratoři, může selhat ve skladu, a proto je nasazení pomalejší, než naznačují demonstrace.