L'apprentissage par renforcement permet de former les robots par essais et erreurs. Le robot agit, reçoit des récompenses et ajuste son comportement pour maximiser ces récompenses. C'est ainsi qu'un chien apprend à s'asseoir pour obtenir une friandise. Le robot n'a pas besoin d'exemples précis, mais d'un moyen de mesurer sa réussite.

Le cadre théorique repose sur un processus de décision markovien. Le robot observe un état, choisit une action, reçoit une récompense et passe à un nouvel état. L'objectif est d'établir une politique qui associe les états aux actions afin de maximiser la récompense cumulée. L'apprentissage par renforcement profond utilise des réseaux de neurones pour représenter cette politique et la fonction de valeur. Il a permis de résoudre des jeux comme le Go et l'Atari et d'entraîner des robots à marcher, saisir des objets et voler.

Défis de l'apprentissage par renforcement

• Efficacité de l'échantillonnage : les robots ont besoin de millions d'essais.
• Conception des récompenses : concevoir la récompense idéale est difficile.
• Transfert de la simulation au réel : les politiques entraînées en simulation peuvent échouer sur le matériel.
• Sécurité : l'exploration peut endommager le robot.
• Attribution du mérite : quelle action a mené à la récompense ?

L'apprentissage par renforcement pour les robots commence généralement par une simulation. Le robot s'entraîne des milliers de fois dans un moteur physique, puis transfère sa stratégie au monde réel. La randomisation du domaine, la variation des frottements, de la masse et du bruit des capteurs en simulation, renforcent la robustesse de cette stratégie. Malgré cela, un écart subsiste entre simulation et réalité. Une stratégie parfaitement adaptée à la simulation peut échouer sur un matériel réel. Les chercheurs utilisent l'identification de systèmes, le contrôle adaptatif et l'apprentissage résiduel pour réduire cet écart. L'apprentissage par renforcement est puissant car il permet de découvrir des solutions auxquelles les humains n'auraient pas pensé. Il est également imprévisible. Un robot entraîné par RL peut trouver une solution ingénieuse ou dangereuse. Garantir la sécurité pendant l'apprentissage reste un problème ouvert.