强化学习通过反复试错来训练机器人。机器人采取行动，获得奖励，并调整自身行为以最大化奖励。这就像狗学会坐下等待奖励一样。机器人不需要预先标注的示例，它需要的是一种衡量成功的方法。

该框架是一个马尔可夫决策过程。机器人观察当前状态，选择一个动作，获得奖励，然后转移到新的状态。目标是找到一种策略，将状态映射到相应的动作，以最大化累积奖励。深度强化学习使用神经网络来表示策略和价值函数。它已经解决了围棋和雅达利等游戏，并训练机器人行走、抓取和飞行。

强化学习的挑战

• 样本效率：机器人需要数百万次试验。
• 奖励设计：设计合适的奖励很难。
• 模拟到现实的迁移：在模拟环境中训练的策略在硬件上可能失效。
• 安全提示：探索活动可能会损坏机器人。
• 功劳归属：哪项行动获得了奖励？

大多数机器人强化学习都先在仿真环境中进行。机器人会在物理引擎中练习数千次生命周期，然后将策略迁移到现实世界。仿真环境中的领域随机化、摩擦力、质量和传感器噪声的变化，都能增强策略的鲁棒性。即便如此，仿真与现实世界之间的差距依然存在。在仿真环境中表现完美的策略，在实际硬件上可能并不适用。研究人员利用系统辨识、自适应控制和残差学习来缩小这一差距。强化学习的强大之处在于它能够发现人类无法设计的解决方案。但它也具有不可预测性。经过强化学习训练的机器人可能会找到巧妙的解决方案，也可能找到危险的解决方案。如何确保学习过程中的安全仍然是一个尚未解决的问题。