Η ενισχυτική μάθηση εκπαιδεύει τα ρομπότ μέσω δοκιμών και σφαλμάτων. Το ρομπότ αναλαμβάνει δράσεις, λαμβάνει ανταμοιβές και προσαρμόζει τη συμπεριφορά του για να μεγιστοποιήσει την ανταμοιβή. Αυτός είναι ο τρόπος με τον οποίο ένας σκύλος μαθαίνει να κάθεται για μια λιχουδιά. Το ρομπότ δεν χρειάζεται παραδείγματα με ετικέτες. Χρειάζεται έναν τρόπο να μετράει την επιτυχία.

Το πλαίσιο είναι μια διαδικασία λήψης αποφάσεων Markov. Το ρομπότ παρατηρεί μια κατάσταση, επιλέγει μια ενέργεια, λαμβάνει μια ανταμοιβή και μεταβαίνει σε μια νέα κατάσταση. Ο στόχος είναι μια πολιτική που αντιστοιχίζει καταστάσεις σε ενέργειες για τη μεγιστοποίηση της αθροιστικής ανταμοιβής. Η βαθιά ενισχυτική μάθηση χρησιμοποιεί νευρωνικά δίκτυα για να αναπαραστήσει την πολιτική και τη συνάρτηση αξίας. Έχει λύσει παιχνίδια όπως το Go και το Atari και έχει εκπαιδεύσει ρομπότ να περπατούν, να πιάνουν και να πετούν.

Προκλήσεις ενισχυτικής μάθησης

• Αποδοτικότητα δείγματος: τα ρομπότ χρειάζονται εκατομμύρια δοκιμές.
• Σχεδιασμός ανταμοιβής: η διαμόρφωση της σωστής ανταμοιβής είναι δύσκολη.
• Μεταφορά από προσομοίωση σε πραγματική κατάσταση: οι πολιτικές που έχουν εκπαιδευτεί στην προσομοίωση ενδέχεται να αποτύχουν σε υλικό.
• Ασφάλεια: η εξερεύνηση μπορεί να προκαλέσει ζημιά στο ρομπότ.
• Ανάθεση πιστωτικών μονάδων: ποια ενέργεια οδήγησε στην ανταμοιβή;

Το μεγαλύτερο μέρος της ενισχυτικής μάθησης για ρομπότ συμβαίνει πρώτα σε προσομοίωση. Το ρομπότ εξασκείται χιλιάδες ζωές σε μια μηχανή φυσικής και στη συνέχεια μεταφέρει την πολιτική στον πραγματικό κόσμο. Η τυχαιοποίηση τομέων, η μεταβαλλόμενη τριβή, η μάζα και ο θόρυβος των αισθητήρων στην προσομοίωση, καθιστούν την πολιτική πιο ισχυρή. Ακόμα κι έτσι, το χάσμα μεταξύ προσομοίωσης και πραγματικότητας παραμένει. Μια πολιτική που λειτουργεί τέλεια στην προσομοίωση μπορεί να μην ταιριάζει με το πραγματικό υλικό. Οι ερευνητές χρησιμοποιούν την αναγνώριση συστήματος, τον προσαρμοστικό έλεγχο και την υπολειμματική μάθηση για να κλείσουν το χάσμα. Η ενισχυτική μάθηση είναι ισχυρή επειδή μπορεί να ανακαλύψει λύσεις που οι άνθρωποι δεν θα σχεδίαζαν. Είναι επίσης απρόβλεπτη. Ένα ρομπότ εκπαιδευμένο με RL μπορεί να βρει μια έξυπνη λύση ή μια επικίνδυνη. Η διασφάλιση της ασφάλειας κατά τη διάρκεια της μάθησης είναι ένα ανοιχτό πρόβλημα.