汎用性・実用性ともに優れたDeepMindの教師なし学習手法 (画像の表現学習2020夏特集5)

3つの要点
✔️ 超シンプルで高性能、一線を画す手法BYOL
✔️ 様々なモダリティに使える汎用的な手法CPC
✔️ 少リソース、ロバスト、実用性汎用性共に高い

Data-Efficient Image Recognition with Contrastive Predictive Coding (CPC v2)
written by Olivier J. Hénaff, Aravind Srinivas, Jeffrey De Fauw, Ali Razavi, Carl Doersch, S. M. Ali Eslami, Aaron van den Oord
(Submitted on 22 May 2019 (v1), last revised 1 Jul 2020 (this version, v3))
Comments: Published by arXiv
Subjects: Computer Vision and Pattern Recognition (cs.CV); Machine Learning (cs.LG)
Paper Official Code COMM Code

Bootstrap your own latent: A new approach to self-supervised Learning (BYOL)
written by Jean-Bastien Grill, Florian Strub, Florent Altché, Corentin Tallec, Pierre H. Richemond, Elena Buchatskaya, Carl Doersch, Bernardo Avila Pires, Zhaohan Daniel Guo, Mohammad Gheshlaghi Azar, Bilal Piot, Koray Kavukcuoglu, Rémi Munos, Michal Valko
(Submitted on 13 Jun 2020 (v1), last revised 10 Sep 2020 (this version, v3))
Comments: Published by arXiv
Subjects: Machine Learning (cs.LG); Computer Vision and Pattern Recognition (cs.CV); Machine Learning (stat.ML)
Paper Official Code COMM Code

ライター持ち込み特集企画「画像の表現学習2020夏」と題して、教師なし学習による各種手法をご紹介しています。 

その1. ドメイン知識なし教師なし学習を実現したImage GPT、画像生成もすごい!
その2. Contrastive Learningの２大手法SimCLR・MoCo、それぞれの進化
その3. Contrastive LearningとクラスタリングでSOTA!?
その4. Contrastive Learningへの問い「What Makes?」
その5. 汎用性・実用性ともに優れたDeepMindの教師なし学習手法

この特集では成果を上げている主流のContrastive Learningにフォーカスしてきましたが、今回は「DeepMind社の研究」という切り口でお届けします。

さてDeepMind社というと、イメージはAlphaGo、またはAlphaZeroではないでしょうか。
どちらかというと一般の深層学習よりはるかに手を出せない領域の研究を手掛ける組織…そんな他人事な印象はないでしょうか。

ところが意外なことに、そんなことはないかもしれないのです。特に後半で説明するBYOLはとても実用性が高く、今後様々な機会で使われていく可能性を秘めた手法で、要チェックです。

daisukelab

製造業を中心に数々の製品ソフトウェア設計を成功させたバックグラウンドを持ち、ディープラーニングをインパクトに変える研究開発をオープンに推進。ご相談はTwitterアカウントへのDMにてお願いします。