Învățarea prin consolidare antrenează roboții prin încercări și erori. Robotul întreprinde acțiuni, primește recompense și își ajustează comportamentul pentru a maximiza recompensa. Așa învață un câine să stea jos pentru o recompensă. Robotul nu are nevoie de exemple etichetate. Are nevoie de o modalitate de a măsura succesul.

Cadrul de lucru este un proces decizional Markov. Robotul observă o stare, alege o acțiune, primește o recompensă și trece la o stare nouă. Scopul este o politică care mapează stările la acțiuni pentru a maximiza recompensa cumulativă. Învățarea prin consolidare profundă utilizează rețele neuronale pentru a reprezenta politica și funcția de valoare. A rezolvat jocuri precum Go și Atari și a antrenat roboți să meargă, să apuce și să zboare.

Provocări ale învățării prin consolidare

• Eficiența eșantionului: roboții au nevoie de milioane de încercări.
• Proiectarea recompensei: este dificilă modelarea recompensei potrivite.
• Transfer de la simulare la realitate: politicile antrenate în simulare pot eșua pe hardware.
• Siguranță: explorarea poate deteriora robotul.
• Atribuirea creditelor: ce acțiune a condus la recompensă?

Cea mai mare parte a învățării prin consolidare pentru roboți are loc mai întâi în simulare. Robotul exersează mii de vieți într-un motor de fizică, apoi transferă politica în lumea reală. Randomizarea domeniului, variația frecării, masei și zgomotului senzorului în simulare, face politica mai robustă. Chiar și așa, decalajul de la simulare la realitate rămâne. O politică care funcționează perfect în simulare se poate baza pe hardware real. Cercetătorii folosesc identificarea sistemului, controlul adaptiv și învățarea reziduală pentru a reduce decalajul. Învățarea prin consolidare este puternică deoarece poate descoperi soluții pe care oamenii nu le-ar proiecta. De asemenea, este imprevizibilă. Un robot antrenat cu învățarea prin consolidare ar putea găsi o soluție inteligentă sau una periculoasă. Asigurarea siguranței în timpul învățării este o problemă deschisă.