Обучение с подкреплением тренирует роботов методом проб и ошибок. Робот совершает действия, получает вознаграждение и корректирует свое поведение, чтобы максимизировать вознаграждение. Именно так собака учится сидеть за лакомство. Роботу не нужны примеры с подсказками. Ему нужен способ измерения успеха.

Данная модель представляет собой марковский процесс принятия решений. Робот наблюдает за состоянием, выбирает действие, получает вознаграждение и переходит в новое состояние. Цель — разработка стратегии, которая сопоставляет состояния с действиями для максимизации совокупного вознаграждения. Глубокое обучение с подкреплением использует нейронные сети для представления стратегии и функции ценности. Оно позволило решить такие игры, как Го и Атари, и обучить роботов ходить, хватать предметы и летать.

Проблемы обучения с подкреплением

• Эффективность использования выборки: роботам требуются миллионы испытаний.
• Разработка системы вознаграждений: создание правильной системы вознаграждений — сложная задача.
• Перенос результатов моделирования в реальный мир: стратегии, обученные в симуляции, могут оказаться неэффективными на аппаратном обеспечении.
• Меры безопасности: исследование может повредить робота.
• Распределение заслуг: какое действие привело к вознаграждению?

Большинство программ обучения с подкреплением для роботов сначала проходят обучение в симуляции. Робот тренируется тысячи раз в физическом движке, а затем переносит полученные навыки в реальный мир. Рандомизация предметной области, изменение трения, массы и шума датчиков в симуляции делают навыки более устойчивыми. Тем не менее, разрыв между симуляцией и реальностью сохраняется. Навыки, идеально работающие в симуляции, могут оказаться неэффективными на реальном оборудовании. Исследователи используют идентификацию системы, адаптивное управление и остаточное обучение для преодоления этого разрыва. Обучение с подкреплением мощно, потому что оно может находить решения, которые человек не смог бы разработать. Оно также непредсказуемо. Робот, обученный с помощью обучения с подкреплением, может найти удачное или опасное решение. Обеспечение безопасности во время обучения остается открытой проблемой.