Rozpoznávání objektů identifikuje, co se nachází na obrázku nebo ve snímaném snímku senzoru. Je to osoba, auto, šálek kávy nebo vada? Robot potřebuje vědět, na co se dívá, než se rozhodne, co bude dělat. Rozpoznávání je prvním krokem ve vnímání.

Rané systémy používaly ručně vytvořené prvky: hrany, rohy, textury. Fungovaly pro specifické objekty v kontrolovaném osvětlení. Hluboké učení změnilo všechno. Konvoluční neuronové sítě se učí prvky z označených dat. Síť trénovaná na milionech obrázků dokáže v benchmarkových testech rozpoznat tisíce kategorií objektů s nadlidskou přesností. V reálném světě výkon klesá, když se změní osvětlení, objekty se překrývají nebo se kamera pohybuje.

Úkoly rozpoznávání objektů

• Klasifikace: co je na obrázku?
• Detekce: kde se nachází a co to je?
• Segmentace: které pixely patří k objektu?
• Odhad pózy: jak je orientovaný?
• Sledování: kam se to v čase pohybuje?

Robot může pomocí rozpoznávání vybrat konkrétní díl z kontejneru, vyhnout se chodci nebo zkontrolovat svar, zda neobsahuje vady. Výzvou je zobecnění. Síť trénovaná na snímcích za slunečného dne může v noci selhat. Síť trénovaná na dílech z jedné továrny může selhat na dílech z jiné. Sběr a rozšiřování dat jsou stejně důležité jako architektura modelu. Nejlepší systémy kombinují hluboké učení s geometrickým uvažováním a fúzí senzorů. Kamera může objekt rozpoznat. Lidar potvrdí jeho polohu. Silové senzory potvrdí uchopení. Rozpoznávání není jen o vidění. Jde o pochopení toho, co robot potřebuje vědět.