D2RL: 強化学習のための新たなニューラルネットワークアーキテクチャ

3つの要点
✔️ 新たなsim2realの手法 RL-CycleGANの提案
✔️ RL-scene consistency lossによりタスク情報を保持したまま画像の生成が可能
✔️ 物体を掴むタスクにおいて高い成功率を達成

D2RL: Deep Dense Architectures in Reinforcement Learning
written by Samarth Sinha, Homanga Bharadhwaj, Aravind Srinivas, Animesh Garg
(Submitted on 19 Oct 2020)
Comments: Accepted at arXiv
Subjects: Machine Learning (cs.LG)
Paper Official Code COMM Code Projects 

はじめに

本記事では、強化学習におけるニューラルネットワークのアーキテクチャについて詳しく研究をした論文を紹介します。Computer Visionや自然言語処理では、ニューラルネットワークのアーキテクチャが重要となっており、学習の精度などに大きな影響を及ぼすことが分かっていますが、強化学習においてはあまり研究がなされていなかったのが現状でした。そこで、この研究ではより深いニューラルネットワークやdense connection(全結合)が、強化学習においてどのような影響を与えるかを調べ、その結果、より深いニューラルネットワークとdense connectionがとても強化学習のタスクにおいて重要であることが実験などからわかりました。また、本研究では、新しいdense connectionを用いた手法、Deep Dense Architectures for Reinforcement Learning (D2RL)を提案しました。本記事では、これらについてを詳しく紹介していきます。 

山田