Học tăng cường huấn luyện robot thông qua phương pháp thử và sai. Robot thực hiện các hành động, nhận phần thưởng và điều chỉnh hành vi của mình để tối đa hóa phần thưởng. Đó là cách một con chó học cách ngồi để nhận phần thưởng. Robot không cần các ví dụ được gắn nhãn. Nó cần một cách để đo lường sự thành công.

Khung lý thuyết này dựa trên quy trình quyết định Markov. Robot quan sát một trạng thái, chọn một hành động, nhận phần thưởng và chuyển sang trạng thái mới. Mục tiêu là một chính sách ánh xạ các trạng thái đến các hành động để tối đa hóa phần thưởng tích lũy. Học tăng cường sâu sử dụng mạng nơ-ron để biểu diễn chính sách và hàm giá trị. Nó đã giải quyết được các trò chơi như Go và Atari và huấn luyện robot đi bộ, nắm bắt và bay.

Thách thức học tăng cường

• Hiệu quả lấy mẫu: robot cần hàng triệu lần thử nghiệm.
• Thiết kế phần thưởng: Việc tạo ra phần thưởng phù hợp là một việc khó.
• Chuyển giao từ mô phỏng sang thực tế: các chính sách được huấn luyện trên mô phỏng có thể thất bại khi chạy trên phần cứng.
• An toàn: việc khám phá có thể làm hỏng robot.
• Phân bổ công lao: Hành động nào dẫn đến phần thưởng?

Hầu hết quá trình học tăng cường cho robot đều diễn ra trong môi trường mô phỏng trước. Robot thực hành hàng nghìn chu kỳ trong một công cụ vật lý, sau đó chuyển giao chiến lược sang thế giới thực. Việc ngẫu nhiên hóa miền, thay đổi ma sát, khối lượng và nhiễu cảm biến trong mô phỏng, giúp chiến lược trở nên mạnh mẽ hơn. Tuy nhiên, khoảng cách giữa mô phỏng và thực tế vẫn tồn tại. Một chiến lược hoạt động hoàn hảo trong mô phỏng có thể thất bại trên phần cứng thực tế. Các nhà nghiên cứu sử dụng nhận dạng hệ thống, điều khiển thích ứng và học dư để thu hẹp khoảng cách này. Học tăng cường rất mạnh mẽ vì nó có thể khám phá ra những giải pháp mà con người không thể thiết kế. Nó cũng không thể đoán trước được. Một robot được huấn luyện bằng học tăng cường có thể tìm ra một giải pháp thông minh hoặc một giải pháp nguy hiểm. Đảm bảo an toàn trong quá trình học tập vẫn là một vấn đề chưa được giải quyết.