A visão computacional permite que os robôs interpretem informação visual. As câmaras capturam imagens. Os algoritmos extraem o significado: arestas, formas, objetos, rostos, movimento. O robô utiliza este significado para navegar, apanhar, inspecionar ou rastrear.

Os primeiros sistemas de visão por computador dependiam de regras codificadas manualmente. Encontrar fronteiras, comparar padrões, medir distâncias. Funcionavam em condições de iluminação controlada, mas falhavam em todos os outros ambientes. O deep learning mudou isso. As redes neuronais convolucionais aprendem características a partir de imagens rotuladas. Conseguem reconhecer um gato, uma fenda numa solda ou um morango maduro sem que lhes seja dito o que procurar.

O que a visão por computador possibilita

• Detecção e classificação de objectos.
• Estimativa de pose para preensão.
• Servocontrol visual para um alinhamento preciso.
• Detecção de defeitos no fabrico.
• Localização e mapeamento simultâneos (SLAM).

A visão por computador é complexa porque o mundo é caótico. A iluminação muda. Os objetos sobrepõem-se. Os reflexos confundem as câmaras. Um robô que veja bem no laboratório pode falhar no chão de fábrica. Os engenheiros utilizam múltiplas câmaras, luz estruturada e sensores de profundidade para aumentar a robustez do sistema. Também treinam o robô com dados do ambiente real, e não apenas com conjuntos de dados limpos. A visão computacional é a área de investigação mais ativa em robótica por uma razão. Se um robô consegue ver, consegue fazer quase tudo. Se não consegue, fica limitado a movimentos repetitivos e sem visão.