Компьютерное зрение наделяет роботов способностью интерпретировать визуальную информацию. Камеры захватывают изображения. Алгоритмы извлекают смысл: края, формы, объекты, лица, движение. Робот использует этот смысл для навигации, захвата, осмотра или отслеживания.

Ранние системы компьютерного зрения основывались на правилах, написанных вручную. Найти границы, сопоставить шаблоны, измерить расстояния. Это работало при контролируемом освещении и терпело неудачу везде, кроме контролируемого. Глубокое обучение изменило это. Сверточные нейронные сети обучаются распознавать признаки на размеченных изображениях. Они могут распознать кошку, трещину в сварном шве или спелую клубнику, даже не зная, что именно искать.

Что позволяет компьютерное зрение

• Обнаружение и классификация объектов.
• Оценка положения для захвата.
• Визуальное обслуживание для точного выравнивания.
• Выявление дефектов в производстве.
• Одновременная локализация и картографирование (SLAM).

Компьютерное зрение — сложная задача, потому что мир вокруг нас несовершенен. Освещение меняется. Объекты накладываются друг на друга. Отражения сбивают с толку камеры. Робот, хорошо видящий в лаборатории, может потерпеть неудачу на заводском производстве. Инженеры используют несколько камер, структурированный свет и датчики глубины для повышения надежности. Они также обучают робота на данных из реальной среды, а не только на чистых наборах данных. Компьютерное зрение — самая активная область исследований в робототехнике, и это неспроста. Если робот может видеть, он может делать почти все. Если нет, он ограничен слепыми, повторяющимися движениями.