Contrastive Learningへの問い「What Makes?」 (画像の表現学習2020夏特集4)

画像認識 2020年07月27日

3つの要点
✔️ Contrastive Learningの性能を上げるViewの条件の追求
✔️ 下流タスクに役立つ表現はどういう情報を含むかを追求
✔️ InfoMaxは本当に役立つのか、真相に迫る

What makes for good views for contrastive learning
written by Yonglong Tian, Chen Sun, Ben Poole, Dilip Krishnan, Cordelia Schmid, Phillip Isola
(Submitted on 20 May 2020)
Comments: Accepted at ECCV2020
Subjects: Computer Vision and Pattern Recognition (cs.CV)
Paper Official Code COMM Code

What makes instance discrimination good for transfer learning?
written by Nanxuan Zhao, Zhirong Wu, Rynson W.H. Lau, Stephen Lin
(Submitted on 11 Jun 2020)
Comments: Published by arXiv
Subjects: Computer Vision and Pattern Recognition (cs.CV)
Paper Official Code COMM Code

On Mutual Information Maximization for Representation Learning
written by Michael Tschannen, Josip Djolonga, Paul K. Rubenstein, Sylvain Gelly, Mario Lucic
(Submitted on 31 Jul 2019 (v1), last revised 23 Jan 2020 (this version, v2))
Comments: Accepted at ICLR2020
Subjects: Computer Vision and Pattern Recognition (cs.CV)
Paper Official Code Colab Code

ライター持ち込み特集企画「画像の表現学習2020夏」と題して、教師なし学習による各種手法をご紹介しています。

その1. ドメイン知識なし教師なし学習を実現したImage GPT、画像生成もすごい!
その2. Contrastive Learningの２大手法SimCLR・MoCo、それぞれの進化
その3. Contrastive LearningとクラスタリングでSOTA!?
その4. Contrastive Learningへの問い「What Makes?」
その5. 汎用性・実用性ともに優れたDeepMindの教師なし学習手法

二度に渡るAIの冬を乗り越え、大量の画像データセットImageNetで表現力を得ることで、2012年に画像のAIが大きく花開きました。しかし、これには人による画像のラベル付けに大きなコストが必要でした。これに対して、2018年に自然言語処理でフェイクニュースの懸念になるほど大きな社会的インパクトを与えたBERTは、莫大なデータをそのまま利用できることも大きな特徴です。

Contrastive Learning(対照学習)とは、コストのかかるラベル付けの代わりにデータ同士を比較する仕組みを使い、膨大なデータをそのまま学習できる教師なし学習の一つです。画像への応用で成果を上げてきており、すでにImageNet学習済みモデルの性能を超え、BERTのようにこれからのインパクトが画像分野で期待されています。

これまでその2、その3でSimCLR・MoCo・PCL・SwAV、これら4つの手法に着目しました。それぞれ高い性能は示すことができましたが、大きな疑問として、どうして性能が良いのか、その理由は明らかではありません。

そこで今回Contrastive Learningの締めくくりとして、なぜ性能が良いのか、「What makes」で始まるタイトルの論文でこの疑問に迫りたいと思います。