Förstärkningsinlärning tränar robotar genom trial and error. Roboten vidtar åtgärder, får belöningar och justerar sitt beteende för att maximera belöningen. Det är så en hund lär sig att sitta för att få en godbit. Roboten behöver inga märkta exempel. Den behöver ett sätt att mäta framgång.

Ramverket är en Markov-beslutsprocess. Roboten observerar ett tillstånd, väljer en handling, får en belöning och övergår till ett nytt tillstånd. Målet är en policy som mappar tillstånd till handlingar för att maximera kumulativ belöning. Djupförstärkningsinlärning använder neurala nätverk för att representera policy- och värdefunktionen. Den har löst spel som Go och Atari och tränat robotar att gå, gripa och flyga.

Utmaningar för förstärkningsinlärning

• Exempel på effektivitet: robotar behöver miljontals försök.
• Belöningsdesign: att utforma rätt belöning är svårt.
• Överföring från simulering till verklighet: policyer som tränats i simulering kan misslyckas på hårdvara.
• Säkerhet: utforskning kan skada roboten.
• Poängtilldelning: vilken handling ledde till belöningen?

Det mesta av förstärkningsinlärningen för robotar sker först i simulering. Roboten övar tusentals livstider i en fysikmotor och överför sedan policyn till den verkliga världen. Domänrandomisering, varierande friktion, massa och sensorbrus i simulering, gör policyn mer robust. Ändå kvarstår gapet mellan simulering och verklighet. En policy som fungerar perfekt i simulering kan misslyckas med verklig hårdvara. Forskare använder systemidentifiering, adaptiv styrning och residualinlärning för att minska gapet. Förstärkningsinlärning är kraftfullt eftersom det kan upptäcka lösningar som människor inte skulle designa. Det är också oförutsägbart. En robot tränad med RL kan hitta en smart lösning eller en farlig. Att säkerställa säkerheten under inlärning är ett öppet problem.