コンピュータビジョンは、ロボットに視覚情報を解釈する能力を与える。カメラが画像を撮影し、アルゴリズムがエッジ、形状、物体、顔、動きといった意味を抽出する。ロボットはその意味を利用して、ナビゲーション、ピックアップ、検査、追跡を行う。

初期のコンピュータビジョンは、手作業でコード化されたルールに依存していました。エッジを検出し、テンプレートを照合し、距離を測定するといったものです。これは制御された照明下では機能しましたが、それ以外の場所ではうまくいきませんでした。ディープラーニングはそれを一変させました。畳み込みニューラルネットワークは、ラベル付けされた画像から特徴を学習します。猫、溶接部のひび割れ、熟したイチゴなどを、何を探すべきかを指示されなくても認識できるようになったのです。

コンピュータビジョンが実現するもの

• 物体検出と分類。
• 把持のための姿勢推定。
• 正確な位置合わせのためのビジュアルサーボ制御。
• 製造における欠陥検出。
• 同時自己位置推定と地図作成（SLAM）。

視覚は、世界が混沌としているため難しい。照明は変化する。物体は重なり合う。反射によってカメラが混乱する。実験室ではよく見えるロボットでも、工場の現場ではうまく機能しない可能性がある。エンジニアは、堅牢性を高めるために、複数のカメラ、構造化光、深度センサーを使用する。また、クリーンなデータセットだけでなく、実際の環境からのデータでトレーニングを行う。コンピュータビジョンがロボット工学で最も活発な研究分野であるのには理由がある。ロボットが見ることができれば、ほぼ何でもできる。見ることができなければ、盲目的な反復動作しかできない。