El aprendizaje por refuerzo entrena a los robots mediante ensayo y error. El robot realiza acciones, recibe recompensas y ajusta su comportamiento para maximizarlas. Así es como un perro aprende a sentarse para recibir una golosina. El robot no necesita ejemplos etiquetados; solo necesita una forma de medir su éxito.

El marco de trabajo se basa en un proceso de decisión de Markov. El robot observa un estado, elige una acción, recibe una recompensa y pasa a un nuevo estado. El objetivo es una política que asigne estados a acciones para maximizar la recompensa acumulada. El aprendizaje profundo por refuerzo utiliza redes neuronales para representar la política y la función de valor. Se ha utilizado para resolver juegos como Go y Atari, y para entrenar robots a caminar, agarrar y volar.

Desafíos del aprendizaje por refuerzo

• Eficiencia de la muestra: los robots necesitan millones de ensayos.
• Diseño de recompensas: dar forma a la recompensa adecuada es difícil.
• Transferencia de simulación a realidad: las políticas entrenadas en simulación pueden fallar en el hardware.
• Seguridad: la exploración puede dañar el robot.
• Asignación de créditos: ¿qué acción condujo a la recompensa?

La mayor parte del aprendizaje por refuerzo para robots se realiza primero en simulación. El robot practica miles de ciclos de vida en un motor de física y luego transfiere la estrategia al mundo real. La aleatorización del dominio, la variación de la fricción, la masa y el ruido de los sensores en la simulación hacen que la estrategia sea más robusta. Aun así, la brecha entre la simulación y la realidad persiste. Una estrategia que funciona a la perfección en la simulación puede fallar en el hardware real. Los investigadores utilizan la identificación de sistemas, el control adaptativo y el aprendizaje residual para cerrar esta brecha. El aprendizaje por refuerzo es potente porque puede descubrir soluciones que los humanos no diseñarían. También es impredecible. Un robot entrenado con RL podría encontrar una solución ingeniosa o una peligrosa. Garantizar la seguridad durante el aprendizaje es un problema abierto.