Rozpoznawanie obiektów identyfikuje, co znajduje się na obrazie lub skanie czujnika. Czy to osoba, samochód, filiżanka kawy, a może defekt? Robot musi wiedzieć, na co patrzy, zanim zdecyduje, co zrobić. Rozpoznawanie to pierwszy krok w percepcji.

Wczesne systemy wykorzystywały ręcznie tworzone cechy: krawędzie, rogi, tekstury. Działały one dla konkretnych obiektów w kontrolowanym oświetleniu. Głębokie uczenie zmieniło wszystko. Splotowe sieci neuronowe uczą się cech z oznaczonych danych. Sieć wytrenowana na milionach obrazów potrafi rozpoznawać tysiące kategorii obiektów z nadludzką dokładnością w testach porównawczych. W rzeczywistości wydajność spada, gdy zmienia się oświetlenie, obiekty nachodzą na siebie lub kamera się porusza.

Zadania rozpoznawania obiektów

• Klasyfikacja: co znajduje się na obrazku?
• Wykrywanie: gdzie się znajduje i na czym polega?
• Segmentacja: które piksele należą do obiektu?
• Ocena pozy: jaka jest jej orientacja?
• Śledzenie: gdzie się przemieszcza w czasie?

Robot może wykorzystać rozpoznawanie, aby wybrać konkretną część z pojemnika, ominąć pieszego lub sprawdzić spoinę pod kątem wad. Wyzwaniem jest generalizacja. Sieć wytrenowana na zdjęciach w słoneczny dzień może zawieść w nocy. Sieć wytrenowana na częściach z jednej fabryki może zawieść na częściach z innej. Gromadzenie i rozszerzanie danych są równie ważne, jak architektura modelu. Najlepsze systemy łączą głębokie uczenie z rozumowaniem geometrycznym i fuzją czujników. Kamera może rozpoznać obiekt. Lidar potwierdzić jego położenie. Czujniki siły potwierdzić chwyt. Rozpoznawanie to nie tylko widzenie. To zrozumienie tego, co robot musi wiedzieć.