継続学習を学ぶ。メタ学習による選択的可塑性の実現と破滅的忘却の防止策！

3つの要点

✔️ メタ学習による継続学習
✔️ 通常のネットワークの出力をNuromodulatory(NM)ネットワークにより制御
✔️ 600クラスの逐次学習で既存手法を超える性能を発揮

Learning to Continually Learn
written by Shawn Beaulieu, Lapo Frati, Thomas Miconi, Joel Lehman, Kenneth O. Stanley, Jeff Clune, Nick Cheney
(Submitted on 21 Feb 2020 (v1), last revised 4 Mar 2020 (this version, v2))
Comments: accepted by arXiv
Subjects: Machine Learning (cs.LG); Computer Vision and Pattern Recognition (cs.CV); Neural and Evolutionary Computing (cs.NE); Machine Learning (stat.ML)

ニューラルネットワークには、新たなタスクを学習すると、過去に学習したタスクに対する性能が著しく低下してしまう破滅的忘却(catastrophic forgetting)という弱点があります。今回紹介する論文では、二つの並列ニューラルネットワークを用いたメタ学習により、この破滅的忘却を防ぐ継続学習において高い性能を発揮する手法が提案されました。

この記事に関するカテゴリー

• Meta-Learning
• continual learning