強化學習透過反覆試錯來訓練機器人。機器人採取行動，獲得獎勵，並調整自身行為以最大化獎勵。這就像狗狗學會坐下來等待獎勵一樣。機器人不需要預先標註的範例，它需要的是一種衡量成功的方法。

該框架是一個馬可夫決策過程。機器人觀察當前狀態，選擇一個動作，獲得獎勵，然後轉移到新的狀態。目標是找到一種策略，將狀態映射到相應的動作，以最大化累積獎勵。深度強化學習使用神經網路來表示策略和價值函數。它已經解決了圍棋和雅達利等遊戲，並訓練機器人行走、抓取和飛行。

強化學習的挑戰

• 樣本效率：機器人需要數百萬次試驗。
• 獎勵設計：設計合適的獎勵很難。
• 模擬到現實的遷移：在模擬環境中訓練的策略在硬體上可能失效。
• 安全提示：探索活動可能會損壞機器人。
• 功勞歸屬：哪一項行動獲得了獎勵？

大多數機器人強化學習是先在模擬環境中進行。機器人會在實體引擎中練習數千次生命週期，然後將策略遷移到現實世界。模擬環境中的領域隨機化、摩擦力、質量和感測器雜訊的變化，都能增強策略的穩健性。即便如此，模擬與現實世界之間的差距依然存在。在模擬環境中表現完美​​的策略，在實際硬體上可能並不適用。研究人員利用系統辨識、自適應控制和殘差學習來縮小這一差距。強化學習的強大之處在於它能夠發現人類無法設計的解決方案。但它也具有不可預測性。經過強化學習訓練的機器人可能會找到巧妙的解決方案，也可能找到危險的解決方案。如何確保學習過程中的安全仍然是一個尚未解決的問題。