シミュレーション x 強化学習！シミュレーションから現実の自動運転システムへ（前半）

Self-Driving 2020年10月06日

3つの要点
✔️ シミュレーション x 強化学習
✔️ 現実での自動運転テスト
✔️ Sim-to-real方策転移に成功

Simulation-Based Reinforcement Learning for Real-World Autonomous Driving
written by Błażej Osiński, Adam Jakubowski, Piotr Miłoś, Paweł Zięcina, Christopher Galias, Silviu Homoceanu, Henryk Michalewski
(Submitted on 29 Nov 2019 (v1), last revised 4 Mar 2020 (this version, v3))
Comments: Accepted at 2020 IEEE International Conference on Robotics and Automation (ICRA)
Subjects: Machine Learning (cs.LG); Artificial Intelligence (cs.AI); Robotics (cs.RO)
Paper Official Code COMM Code

はじめに

今回紹介する論文は，現実での自動運転システムをシミュレーションでの強化学習で獲得するという論文です。入力はカメラからのRGB画像とセマンティックセグメンテーションで，ステアリング（ハンドル操作）を出力するモデルを学習します。実験では，Sim-to-Realの運転システムの転移に成功しています。本記事（前半）では，提案手法までを紹介します。後半記事では実験と分析を紹介します。それでは見ていきましょう。

モチベーション

研究の背景には，現実での自動運転システム構築に，シミュレーションを有効活用したいというモチベーションがあります。シミュレーションでは，現実では行えないような危険な動作が可能であり，現実と比較して，データの収集が容易です。強化学習では，手動の範囲を超えた探索が可能であり，今流行りのEnd-to-Endの学習ができます。自動運転は，End-to-Endの学習は，モジュールに分けてそれぞれ学習したときの，モジュールを結合した際に生じる誤差の蓄積※を解消することができます。また，単純に，1つ1つのモジュールを手作業のルールで設計していくのは，作業量が多すぎて現実的ではないという理由もあります。