強化学習は、試行錯誤を通してロボットを訓練する手法です。ロボットは行動を起こし、報酬を受け取り、報酬を最大化するように行動を調整します。これは、犬がおやつをもらうために座ることを学ぶのと同じ原理です。ロボットはラベル付きの事例を必要としません。必要なのは、成功を測定する方法なのです。

このフレームワークはマルコフ決定過程に基づいています。ロボットは状態を観察し、行動を選択し、報酬を受け取り、新しい状態に遷移します。目標は、累積報酬を最大化するように状態と行動をマッピングする方策です。深層強化学習は、ニューラルネットワークを用いて方策と価値関数を表現します。囲碁やアタリなどのゲームを解決したり、ロボットに歩行、把持、飛行を訓練したりすることに成功しています。

強化学習の課題

• サンプル効率：ロボットは数百万回の試行を必要とする。
• 報酬設計：適切な報酬を設計するのは難しい。
• シミュレーションから実機への転送：シミュレーションで訓練されたポリシーは、実際のハードウェアでは機能しない可能性がある。
• 安全性：探査によってロボットが損傷する可能性があります。
• 報酬付与の基準：どの行動が報酬につながったのか？

ロボットの強化学習のほとんどは、まずシミュレーションで行われます。ロボットは物理エンジンで何千回ものライフタイムを練習し、その後、そのポリシーを現実世界に適用します。シミュレーションにおけるドメインランダム化、摩擦、質量、センサーノイズの変化により、ポリシーはより堅牢になります。それでも、シミュレーションと現実のギャップは残ります。シミュレーションでは完璧に動作するポリシーでも、実際のハードウェアでは失敗する可能性があります。研究者は、システム同定、適応制御、残差学習を使用してこのギャップを埋めています。強化学習は、人間が設計しないような解決策を発見できるため強力です。また、予測不可能でもあります。強化学習で訓練されたロボットは、巧妙な解決策を見つけることもあれば、危険な解決策を見つけることもあります。学習中の安全性を確保することは未解決の問題です。