강화 학습은 시행착오를 통해 로봇을 훈련시킵니다. 로봇은 행동을 취하고 보상을 받으며, 보상을 최대화하기 위해 행동을 조정합니다. 강아지가 간식을 받기 위해 앉는 법을 배우는 방식이 바로 이것입니다. 로봇에게는 레이블이 지정된 예시가 필요하지 않습니다. 성공 여부를 측정할 수 있는 방법만 있으면 됩니다.

이 프레임워크는 마르코프 결정 과정(Markov Decision Process)을 기반으로 합니다. 로봇은 상태를 관찰하고, 행동을 선택하고, 보상을 받은 후, 새로운 상태로 전환합니다. 목표는 누적 보상을 최대화하도록 상태를 행동에 매핑하는 정책을 도출하는 것입니다. 심층 강화 학습은 신경망을 사용하여 정책과 가치 함수를 표현합니다. 이 기술은 바둑이나 아타리 게임과 같은 문제를 해결하고, 로봇이 걷고, 잡고, 날도록 훈련시키는 데 활용되어 왔습니다.

강화 학습 과제

• 샘플 효율성: 로봇은 수백만 번의 시행착오를 거쳐야 합니다.
• 보상 설계: 적절한 보상을 만드는 것은 어렵습니다.
• 시뮬레이션에서 실제 환경으로의 전환: 시뮬레이션에서 학습된 정책은 하드웨어에서 제대로 작동하지 않을 수 있습니다.
• 안전: 탐색 활동은 로봇을 손상시킬 수 있습니다.
• 보상 배분: 어떤 행동이 보상으로 이어졌습니까?

로봇을 위한 강화 학습은 대부분 시뮬레이션에서 먼저 이루어집니다. 로봇은 물리 엔진에서 수천 번의 수명 동안 연습한 후, 학습된 정책을 실제 환경으로 옮깁니다. 시뮬레이션에서 영역 무작위화, 마찰, 질량, 센서 노이즈 등을 변화시키면 정책의 견고성이 향상됩니다. 그럼에도 불구하고 시뮬레이션과 실제 환경 간의 격차는 여전히 존재합니다. 시뮬레이션에서 완벽하게 작동하는 정책도 실제 로봇에서는 실패할 수 있습니다. 연구자들은 이러한 격차를 줄이기 위해 시스템 식별, 적응 제어, 잔차 학습 등의 기법을 활용합니다. 강화 학습은 인간이 생각지도 못할 해결책을 찾아낼 수 있다는 점에서 강력하지만, 동시에 예측 불가능하기도 합니다. 강화 학습으로 훈련된 로봇은 영리한 해결책을 찾을 수도 있고, 위험한 해결책을 찾을 수도 있습니다. 학습 과정에서의 안전을 확보하는 것은 여전히 ​​해결해야 할 과제입니다.