Reinforcement Learning trainiert Roboter durch Ausprobieren. Der Roboter führt Aktionen aus, erhält Belohnungen und passt sein Verhalten an, um die Belohnung zu maximieren. So lernt ein Hund beispielsweise, für ein Leckerli Sitz zu machen. Der Roboter benötigt keine beschrifteten Beispiele, sondern eine Möglichkeit, seinen Erfolg zu messen.

Das Framework basiert auf einem Markov-Entscheidungsprozess. Der Roboter beobachtet einen Zustand, wählt eine Aktion, erhält eine Belohnung und wechselt in einen neuen Zustand. Ziel ist eine Strategie, die Zustände Aktionen zuordnet, um die kumulative Belohnung zu maximieren. Deep Reinforcement Learning nutzt neuronale Netze, um die Strategie und die Wertfunktion darzustellen. Es hat Spiele wie Go und Atari gelöst und Roboter trainiert, zu laufen, zu greifen und zu fliegen.

Herausforderungen des bestärkenden Lernens

• Stichprobeneffizienz: Roboter benötigen Millionen von Versuchen.
• Belohnungsgestaltung: Die richtige Belohnung zu gestalten, ist schwierig.
• Übertragung von der Simulation in die Realität: In der Simulation trainierte Strategien können auf der Hardware versagen.
• Sicherheitshinweis: Erkundungsarbeiten können den Roboter beschädigen.
• Anerkennungszuordnung: Welche Handlung führte zur Belohnung?

Das meiste Reinforcement Learning für Roboter findet zunächst in Simulationen statt. Der Roboter trainiert tausende Male in einer Physiksimulation und überträgt die erlernte Strategie anschließend in die reale Welt. Domänenrandomisierung, variable Reibung, Masse und Sensorauschen in der Simulation erhöhen die Robustheit der Strategie. Dennoch bleibt die Diskrepanz zwischen Simulation und Realität bestehen. Eine Strategie, die in der Simulation perfekt funktioniert, kann auf realer Hardware scheitern. Forscher nutzen Systemidentifikation, adaptive Regelung und Residual Learning, um diese Diskrepanz zu verringern. Reinforcement Learning ist so leistungsstark, weil es Lösungen findet, die Menschen nicht entwickeln würden. Gleichzeitig ist es aber auch unvorhersehbar. Ein mit RL trainierter Roboter kann eine clevere oder eine gefährliche Lösung finden. Die Gewährleistung der Sicherheit während des Lernprozesses ist eine ungelöste Herausforderung.