Offline Reinforcement Learning特集！第一弾

3つの要点
✔️ 過去に集めたデータのみを利用して方策を学習するOffline RL
✔️ Offlne RLは、ヘルスケア、ロボティクスなど様々な分野の応用に期待されている
✔️ Offlne RLの問題点として主にdistribution shiftが挙げられる

Offline Reinforcement Learning: Tutorial, Review, and Perspectives on Open Problems
written by Sergey Levine, Aviral Kumar, George Tucker, Justin Fu
(Submitted on 4 May 2020)
Comments: 
Subjects: Machine Learning (cs.LG), Artificial Intelligence (cs.AI), Machine Learning (stat.ML)

はじめに

近年、学習と同時にデータを集めるオンライン学習の方法ではなく、過去に集めたデータだけを利用して強化学習を行うoffline reinforcement learning (offline RL)に関する研究が盛んに行われるようになっています。学習と同時に環境に対して行動を実行しデータを集める場合だと、学習時間がとてもかかる等などの問題がありますが、このOffline強化学習では、過去に集めた大きなデータセットを利用することで効率よく学習することが出来るなどの利点があります。このoffline RLは、ヘルスケアや教育、そしてロボティクスなど様々な分野に対して効果的だと思われる点から注目されています。

しかし、現状、offline RLは、様々な問題点から未だにこれを可能としておらず、様々な研究がなされています。このoffline RL特集では、現状何が問題で、それに対してどのよな研究が過去になされ、そして今後に対する展望などを３回に分けて紹介します。第一弾である本記事では、まずOffline強化学習とは何か、そして想定される具体的な応用例、そして何故Offline RLが難しいのかなどを詳しく説明してきます。

山田