Pekiştirmeli öğrenme, robotları deneme yanılma yoluyla eğitir. Robot eylemler gerçekleştirir, ödüller alır ve ödülü en üst düzeye çıkarmak için davranışını ayarlar. Bu, bir köpeğin ödül maması için oturmayı öğrenme şekline benzer. Robotun etiketlenmiş örneklere ihtiyacı yoktur. Başarıyı ölçmenin bir yoluna ihtiyacı vardır.

Bu çerçeve bir Markov karar sürecidir. Robot bir durumu gözlemler, bir eylem seçer, bir ödül alır ve yeni bir duruma geçer. Amaç, kümülatif ödülü en üst düzeye çıkarmak için durumları eylemlere eşleyen bir politika oluşturmaktır. Derin pekiştirmeli öğrenme, politika ve değer fonksiyonunu temsil etmek için sinir ağlarını kullanır. Go ve Atari gibi oyunları çözmüş ve robotları yürüme, kavrama ve uçma konusunda eğitmiştir.

Pekiştirmeli öğrenme zorlukları

• Örnekleme verimliliği: robotların milyonlarca denemeye ihtiyacı var.
• Ödül tasarımı: Doğru ödülü şekillendirmek zordur.
• Simülasyondan gerçek hayata aktarım: Simülasyonda eğitilen politikalar donanımda başarısız olabilir.
• Güvenlik: Keşif çalışmaları robota zarar verebilir.
• Ödül ataması: Hangi eylem ödüle yol açtı?

Robotlar için takviyeli öğrenmenin çoğu önce simülasyonda gerçekleşir. Robot, bir fizik motorunda binlerce yaşam döngüsü boyunca pratik yapar, ardından politikayı gerçek dünyaya aktarır. Simülasyonda alan rastgeleleştirmesi, sürtünme, kütle ve sensör gürültüsünün değiştirilmesi, politikayı daha sağlam hale getirir. Buna rağmen, simülasyon ile gerçek dünya arasındaki fark devam etmektedir. Simülasyonda mükemmel çalışan bir politika, gerçek donanımda başarısız olabilir. Araştırmacılar, bu farkı kapatmak için sistem tanımlama, adaptif kontrol ve artık öğrenme yöntemlerini kullanmaktadır. Takviyeli öğrenme güçlüdür çünkü insanların tasarlamayacağı çözümleri keşfedebilir. Ayrıca tahmin edilemezdir. Takviyeli öğrenme ile eğitilmiş bir robot, zekice bir çözüm veya tehlikeli bir çözüm bulabilir. Öğrenme sırasında güvenliği sağlamak açık bir sorundur.