Transformerは強化学習に応用できるか？

 3つの要点
✔️ Transformerを強化学習に適用
✔️ Transformerに修正を施し学習を安定させたGTrXLを提案
✔️ LSTMを超える性能・ロバスト性を発揮

Stabilizing Transformers for Reinforcement Learning
written by Emilio Parisotto, H. Francis Song, Jack W. Rae, Razvan Pascanu, Caglar Gulcehre, Siddhant M. Jayakumar, Max Jaderberg, Raphael Lopez Kaufman, Aidan Clark, Seb Noury, Matthew M. Botvinick, Nicolas Heess, Raia Hadsell
(Submitted on 13 Oct 2019)
Comments: Accepted to ICML2020
Subjects: Machine Learning (cs.LG); Artificial Intelligence (cs.AI); Machine Learning (stat.ML)
Paper Official Code COMM Code

はじめに

Attention is all you needにて提案されたTransformerは、様々な領域で大きな成功を収めています。特に自然言語処理における存在感は大きく、BERTを始めとした事前学習モデル、中でも最近大きな話題となったGPT-3など、その性能・成長速度は驚くべきほどです。また、この成功は自然言語処理に限ったものではありません。例えば、物体検出に適用したDETR、教師なし表現学習に用いたImage GPTなど、画像処理領域においてもその実力が発揮されています。では果たして、Transformerはどれだけ多くの領域に適用できるでしょうか？　その汎用性はどれだけ高いのでしょうか？

本記事では、Transformerを強化学習に応用し、その能力を引き出すことに成功した論文を紹介します。

anonymous