シミュレーション x 強化学習！シミュレーションから現実の自動運転システムへ（後半）

3つの要点
✔️ シミュレーション x 強化学習
✔️ 現実での自動運転テスト
✔️ Sim-to-real方策転移に成功

Simulation-Based Reinforcement Learning for Real-World Autonomous Driving
written by Błażej Osiński, Adam Jakubowski, Piotr Miłoś, Paweł Zięcina, Christopher Galias, Silviu Homoceanu, Henryk Michalewski
(Submitted on 29 Nov 2019 (v1), last revised 4 Mar 2020 (this version, v3))
Comments: Accepted at 2020 IEEE International Conference on Robotics and Automation (ICRA)
Subjects: Machine Learning (cs.LG); Artificial Intelligence (cs.AI); Robotics (cs.RO)
Paper  Official Code COMM Code

はじめに

今回紹介する論文は，現実での自動運転システムをシミュレーションでの強化学習で獲得するという論文です。入力はカメラからのRGB画像とセマンティックセグメンテーションで，ステアリング（ハンドル操作）を出力するモデルを学習します。実験では，Sim-to-Realの運転システムの転移に成功しています。

モチベーション

研究の背景には，現実での自動運転システム構築に，シミュレーションを有効活用したいというモチベーションがあります。

貢献

この論文の貢献は以下の二つです。

• シミュレーションでの視覚的ランダム性の効果の検証
• 現実での自動運転のテスト

ここでの視覚的ランダム性とは，天気の変更や，画像入力にノイズを加えることをいいます。 

前回記事（前半）では，提案手法までを説明しました。End-to-Endのモデルで，画像，セマンティックセグメンテーション，車のメトリクス（速度，加速度，角度），ナビコマンドを入力とし，ステアリングを出力とし，PPOで学習します。10種類の天気の変更や，画像入力にノイズを加えるなどのランダム化も行っています。

本記事は，1種類のシミュレーション実験と，7種類の実世界実験についてです。それでは見ていきましょう。 

この記事に関するカテゴリー

• 深層学習
• 強化学習
• Self-Driving