Uczenie przez wzmacnianie (reinforcement learning) szkoli roboty metodą prób i błędów. Robot podejmuje działania, otrzymuje nagrody i dostosowuje swoje zachowanie, aby zmaksymalizować ich wartość. W ten sposób pies uczy się siadać, czekając na smakołyk. Robot nie potrzebuje przykładów z etykietami. Potrzebuje sposobu na mierzenie sukcesu.

Ramy te opierają się na procesie decyzyjnym Markowa. Robot obserwuje stan, wybiera działanie, otrzymuje nagrodę i przechodzi do nowego stanu. Celem jest strategia, która mapuje stany na działania, aby zmaksymalizować skumulowaną nagrodę. Głębokie uczenie ze wzmocnieniem wykorzystuje sieci neuronowe do reprezentowania strategii i funkcji wartości. Rozwiązało ono gry takie jak Go i Atari oraz nauczyło roboty chodzić, chwytać i latać.

Wyzwania związane z uczeniem się przez wzmacnianie

• Wydajność próby: roboty potrzebują milionów prób.
• Projektowanie nagród: ukształtowanie właściwej nagrody jest trudne.
• Transfer z symulatora do rzeczywistości: zasady trenowane w symulacji mogą zawodzić na sprzęcie.
• Bezpieczeństwo: eksploracja może uszkodzić robota.
• Przypisanie zasług: które działanie doprowadziło do nagrody?

Większość uczenia się przez wzmacnianie robotów odbywa się najpierw w symulacji. Robot ćwiczy tysiące cykli wirtualizacyjnych w silniku fizycznym, a następnie przenosi tę politykę do świata rzeczywistego. Randomizacja domeny, zmienne tarcie, masa i szum czujników w symulacji zwiększają niezawodność polityki. Mimo to, luka między symulacją a rzeczywistością pozostaje. Polityka, która idealnie sprawdza się w symulacji, może pojawić się na rzeczywistym sprzęcie. Naukowcy wykorzystują identyfikację systemu, sterowanie adaptacyjne i uczenie resztkowe, aby zniwelować tę lukę. Uczenie przez wzmacnianie jest potężne, ponieważ pozwala odkrywać rozwiązania, których ludzie by nie zaprojektowali. Jest również nieprzewidywalne. Robot przeszkolony w RL może znaleźć sprytne lub niebezpieczne rozwiązanie. Zapewnienie bezpieczeństwa podczas nauki pozostaje otwartym problemem.