A megerősítéses tanulás próbálgatással és hibákkal képzi a robotokat. A robot cselekvéseket hajt végre, jutalmat kap, és a viselkedését a jutalom maximalizálása érdekében módosítja. Így tanul meg a kutya is, hogyan üljön le egy jutalomért. A robotnak nincs szüksége címkézett példákra. Szüksége van egy módszerre a siker mérésére.

A keretrendszer egy Markov-döntési folyamat. A robot megfigyel egy állapotot, kiválaszt egy cselekvést, jutalmat kap, majd átlép egy új állapotba. A cél egy olyan szabályozás, amely az állapotokat cselekvésekhez rendeli hozzá a kumulatív jutalom maximalizálása érdekében. A mély megerősítéses tanulás neurális hálózatokat használ a szabályozás és az értékfüggvény ábrázolására. Olyan játékokat oldott meg, mint a Go és az Atari, és robotokat képzett járásra, fogásra és repülésre.

Megerősítéses tanulási kihívások

• Mintahatékonyság: a robotoknak több millió próbára van szükségük.
• Jutalmazástervezés: a megfelelő jutalom kialakítása nehéz.
• Szimulációból valós környezetbe történő átvitel: a szimulációban betanított szabályzatok hardveren meghibásodhatnak.
• Biztonság: a felfedezés károsíthatja a robotot.
• Jutalomhoz jutalmazás: melyik cselekvés vezetett a jutalomhoz?

A robotok megerősítéses tanulásának nagy része először a szimulációban történik. A robot több ezer élettartamot gyakorol be egy fizikai motorban, majd átviszi a szabályt a valós világba. A tartományok véletlenszerűsítése, a súrlódás, a tömeg és az érzékelőzaj változtatása a szimulációban robusztusabbá teszi a szabályt. Ennek ellenére a szimuláció és a valóság közötti rés továbbra is fennáll. Egy olyan szabály, amely tökéletesen működik a szimulációban, valódi hardveren is elromolhat. A kutatók rendszerazonosítást, adaptív vezérlést és maradékos tanulást használnak a rés áthidalására. A megerősítéses tanulás azért hatékony, mert olyan megoldásokat fedezhet fel, amelyeket az emberek nem terveznének meg. Emellett kiszámíthatatlan is. Egy megerősítéses tanulással betanított robot találhat okos vagy veszélyes megoldást. A biztonság garantálása a tanulás során nyitott probléma.