물체를 잡는다는 것은 물체를 움켜쥐고 고정하는 행위입니다. 로봇에게 있어 이는 복잡한 물리적 상호작용입니다. 로봇의 손가락은 물체에 닿아야 하고, 물체를 고정하기에 충분한 힘을 가해야 하며, 물체가 변형되거나 미끄러지지 않도록 적절한 힘을 유지해야 합니다. 또한 로봇은 물체를 안전하게 잡았는지 여부를 판단할 수 있어야 합니다.

인간은 생각하지 않고 물체를 잡지만, 로봇은 감지, 계획, 제어 과정을 거쳐야 합니다. 시각 센서가 물체를 식별하고, 파지 계획을 통해 접촉점을 선택합니다. 그리퍼가 닫히고, 힘 센서가 접촉을 감지합니다. 로봇은 물체를 들어 올리고 미끄러짐을 확인합니다. 물체가 움직이면 로봇은 자세를 조정합니다. 잘 설계된 시스템이라면 이 모든 과정이 1초 이내에 이루어집니다.

과제 파악하기

• 물체의 모양과 크기 변화.
• 표면 마찰 및 무게 분포.
• 그리퍼의 한계 및 손가락 형상.
• 센서 노이즈 및 교정.
• 접점에서 실시간 제어.

물체 파악 연구는 분석 모델에서 데이터 기반 방법으로 전환되었습니다. 시뮬레이션 및 실제 데이터를 활용한 대규모 파악 데이터셋을 통해 신경망을 훈련시켜 이미지로부터 성공적인 파악 동작을 예측합니다. 그 결과는 인상적이지만 완벽하지는 않습니다. 투명한 물체는 깊이 측정 카메라를 혼란스럽게 하고, 반사되는 표면은 노이즈를 발생시키며, 부드러운 물체는 예측할 수 없이 변형됩니다. 실험실에서 물체 파악을 잘하는 로봇도 복잡한 창고 환경에서는 실패할 수 있습니다. 최고의 시스템은 시각, 촉각, 힘 제어를 결합하고 실패 가능성을 고려하여 설계되었습니다. 파악은 조작의 기본입니다. 파악 능력이 없다면 로봇은 세상을 바라볼 뿐, 세상을 변화시킬 수 없습니다.