Posilovací učení trénuje roboty metodou pokus-omyl. Robot podniká kroky, dostává odměny a upravuje své chování tak, aby odměnu maximalizoval. Takto se pes učí sedět pro pamlsek. Robot nepotřebuje popsané příklady. Potřebuje způsob, jak měřit úspěch.

Rámec je založen na Markovově rozhodovacím procesu. Robot pozoruje stav, zvolí akci, obdrží odměnu a přejde do nového stavu. Cílem je strategie, která mapuje stavy na akce, aby se maximalizovala kumulativní odměna. Hluboké posilovací učení využívá neuronové sítě k reprezentaci strategie a hodnotové funkce. Řešilo hry jako Go a Atari a trénovalo roboty k chůzi, uchopení a létání.

Problémy s posilováním učení

• Efektivita vzorků: roboti potřebují miliony pokusů.
• Návrh odměny: vytvoření správné odměny je obtížné.
• Přenos ze simulace do reálného prostředí: zásady natrénované v simulaci mohou na hardwaru selhat.
• Bezpečnost: průzkum může robota poškodit.
• Přiřazení kreditu: která akce vedla k odměně?

Většina posilovacího učení u robotů probíhá nejprve v simulaci. Robot procvičuje tisíce životů ve fyzikálním enginu a poté přenese pravidla do reálného světa. Randomizace domén, různé tření, hmotnost a šum senzorů v simulaci činí pravidla robustnějšími. Přesto mezera mezi simulací a reálným světem zůstává. Pravidla, která v simulaci funguje perfektně, mohou narazit na reálný hardware. Výzkumníci k překlenutí mezery používají identifikaci systému, adaptivní řízení a reziduální učení. Posilovací učení je účinné, protože dokáže objevit řešení, která by lidé nenavrhli. Je také nepředvídatelné. Robot trénovaný s pomocí RL může najít chytré nebo nebezpečné řešení. Zajištění bezpečnosti během učení je otevřeným problémem.