Pembelajaran penguatan melatih robot melalui uji coba dan kesalahan. Robot melakukan tindakan, menerima imbalan, dan menyesuaikan perilakunya untuk memaksimalkan imbalan tersebut. Ini adalah cara seekor anjing belajar duduk untuk mendapatkan hadiah. Robot tidak membutuhkan contoh yang diberi label. Ia membutuhkan cara untuk mengukur keberhasilan.

Kerangka kerjanya adalah proses pengambilan keputusan Markov. Robot mengamati suatu keadaan, memilih suatu tindakan, menerima imbalan, dan beralih ke keadaan baru. Tujuannya adalah kebijakan yang memetakan keadaan ke tindakan untuk memaksimalkan imbalan kumulatif. Pembelajaran penguatan mendalam menggunakan jaringan saraf untuk merepresentasikan kebijakan dan fungsi nilai. Metode ini telah berhasil memecahkan permainan seperti Go dan Atari serta melatih robot untuk berjalan, menggenggam, dan terbang.

Tantangan pembelajaran penguatan

• Efisiensi sampel: robot membutuhkan jutaan percobaan.
• Desain imbalan: membentuk imbalan yang tepat itu sulit.
• Transfer dari simulasi ke dunia nyata: kebijakan yang dilatih dalam simulasi mungkin gagal pada perangkat keras.
• Keamanan: eksplorasi dapat merusak robot.
• Penugasan kredit: tindakan mana yang menghasilkan penghargaan?

Sebagian besar pembelajaran penguatan (reinforcement learning) untuk robot terjadi dalam simulasi terlebih dahulu. Robot berlatih ribuan siklus hidup dalam mesin fisika, kemudian mentransfer kebijakan tersebut ke dunia nyata. Pengacakan domain, variasi gesekan, massa, dan kebisingan sensor dalam simulasi, membuat kebijakan lebih kuat. Meskipun demikian, kesenjangan antara simulasi dan dunia nyata tetap ada. Kebijakan yang berjalan sempurna dalam simulasi mungkin gagal pada perangkat keras nyata. Para peneliti menggunakan identifikasi sistem, kontrol adaptif, dan pembelajaran residual untuk menutup kesenjangan tersebut. Pembelajaran penguatan sangat ampuh karena dapat menemukan solusi yang tidak akan dirancang oleh manusia. Namun, hal itu juga tidak dapat diprediksi. Robot yang dilatih dengan RL mungkin menemukan solusi yang cerdas atau solusi yang berbahaya. Memastikan keamanan selama pembelajaran merupakan masalah yang masih terbuka.