COG: 過去の経験を利用して汎用性の高いロボットを学習するフレームワーク!!

3つの要点
✔️ Prior dataとTask dataを利用してより汎用性が高いpolicyを学習するCOGを提案
✔️ Offline RLを利用したシンプルかつ効果的な手法の提案
✔️ 他の手法と比べてより高いタスク成功率を達成

COG: Connecting New Skills to Past Experience with Offline Reinforcement Learning
written by Avi Singh, Albert Yu, Jonathan Yang, Jesse Zhang, Aviral Kumar, Sergey Levine
(Submitted on 27 Oct 2020)
Comments: Accepted to CoRL2020, Source code and videos available at this https URL
Subjects: Machine Learning (cs.LG); Robotics (cs.RO)
   

はじめに

本記事では、"COG: Connecting New Skills to Past Experience with Offline Reinforcement Learning"という論文を紹介します。RL (強化学習)は、汎用性の低さが問題となっています。例えば、引き出しから物体を取り出すタスクにおいて、ロボットが仮に引き出しが空いている状態からものを取り出すタスクに関して学習を行ったとすると、テスト時においてタスクが引き出しが閉じられていた場合、そのタスクを解くことができなくなります。様々な場合に応じてpolicy (方策)を学習することが出来ればこれらの問題を解くことが可能になるかもしれませんが、その場合学習コストが大きくなってしまいます。では、仮に過去に集められたロボットが引き出しを開けるなどのinteraction dataがあった場合、テスト時に引き出しが閉められていた場合でも、これらの過去のデータを利用することにより引き出しを開けて物体を取り出すことが可能になるのか？ということがこの論文の着眼点になります。本記事では、offline RLがどのようにして、過去に集めた大量のデータと、タスク特有のデータを組み合わせて、より汎用的なpolicyを学習する手法、Connecting Skills via Offlien RL for Generalization (COG)という手法を紹介します。

山田