階層強化学習による形態転移

3つの要点
✔️ 単純なロボットから複雑なロボットへの形態転移学習
✔️ 階層強化学習により効果的に方策を転移
✔️ 複雑なロボットを高速に学習させることに成功

Hierarchically Decoupled Imitation for Morphological Transfer
written by Donald J. Hejna III, Pieter Abbeel, Lerrel Pinto
(Submitted on 3 Mar 2020 (v1), last revised 31 Aug 2020 (this version, v2))
Comments: Accepted at ICML2020
Subjects: Machine Learning (cs.LG); Artificial Intelligence (cs.AI); Robotics (cs.RO); Machine Learning (stat.ML)
  Official 

はじめに

強化学習を実世界に適用し、複雑なロボットに難しいタスクを解決させることはできるでしょうか？

強化学習が高いパフォーマンスを達成するには、非常に莫大な学習データが必要となります。そのため、ゲームやシミュレーター内で強化学習エージェントを学習させることはできても、実世界でロボットを動かして、高性能に達するまで学習を行い続けるのは現実的とは言えません。

ロボットが複雑な構造であればあるほど、学習にかかる時間も、ロボットを動かすコストも、ロボット自体の値段も莫大になってしまうでしょう。

逆に考えるならば、非常に単純なロボットを実世界で学習させることは、高度なロボットを学習させることに比べればはるかに現実的です。

本記事で紹介する論文では、単純な構造のロボットを動かすことをまず学習し、その知識をより高度なロボットに転移させる手法を提案し、この問題への一つの解決策を示しました。

anonymous