最新AI論文をキャッチアップ

AI人材就職支援 vistAI

Contrastive Learningへの問い「What Makes?」 (画像の表現学習2020夏特集4)

Contrastive Learningへの問い「What Makes?」 (画像の表現学習2020夏特集4)

画像認識

3つの要点
✔️ Contrastive Learningの性能を上げるViewの条件の追求
✔️ 下流タスクに役立つ表現はどういう情報を含むかを追求
✔️ InfoMaxは本当に役立つのか、真相に迫る

What makes for good views for contrastive learning
written by Yonglong TianChen SunBen PooleDilip KrishnanCordelia SchmidPhillip Isola
(Submitted on 20 May 2020)

Comments: Published by arXiv
Subjects: Computer Vision and Pattern Recognition (cs.CV); Machine Learning (cs.LG)

Code

What makes instance discrimination good for transfer learning?
written by Nanxuan ZhaoZhirong WuRynson W.H. LauStephen Lin
(Submitted on 11 Jun 2020)

Comments: Published by arXiv
Subjects: Computer Vision and Pattern Recognition (cs.CV)

On Mutual Information Maximization for Representation Learning
written by Michael TschannenJosip DjolongaPaul K. RubensteinSylvain GellyMario Lucic
(Submitted on 31 Jul 2019)

Comments: Published by arXiv
Subjects: Machine Learning (cs.LG); Machine Learning (stat.ML)

Code

ライター持ち込み特集企画「画像の表現学習2020夏」と題して、教師なし学習による各種手法をご紹介しています。 

その1. ドメイン知識なし教師なし学習を実現したImage GPT、画像生成もすごい!
その2. Contrastive Learningの2大手法SimCLR・MoCo、それぞれの進化
その3. Contrastive LearningとクラスタリングでSOTA!?
その4. (★今回) Contrastive Learningへの問い「What Makes?」
その5. (予定) 汎用性・実用性ともに優れたDeepMindの教師なし学習手法

二度に渡るAIの冬を乗り越え、大量の画像データセットImageNetで表現力を得ることで、2012年に画像のAIが大きく花開きました。しかし、これには人による画像のラベル付けに大きなコストが必要でした。これに対して、2018年に自然言語処理でフェイクニュースの懸念になるほど大きな社会的インパクトを与えたBERTは、莫大なデータをそのまま利用できることも大きな特徴です。

Contrastive Learning(対照学習)とは、コストのかかるラベル付けの代わりにデータ同士を比較する仕組みを使い、膨大なデータをそのまま学習できる教師なし学習の一つです。画像への応用で成果を上げてきており、すでにImageNet学習済みモデルの性能を超え、BERTのようにこれからのインパクトが画像分野で期待されています。

これまでその2、その3でSimCLR・MoCo・PCL・SwAV、これら4つの手法に着目しました。それぞれ高い性能は示すことができましたが、大きな疑問として、どうして性能が良いのか、その理由は明らかではありません。

そこで今回Contrastive Learningの締めくくりとして、なぜ性能が良いのか、「What makes」で始まるタイトルの論文でこの疑問に迫りたいと思います。

続きを読むには

(8955文字画像17枚)

AI-SCHOLARに
登録いただく必要があります。

1分で無料で簡単登録する

または
daisukelab avatar
製造業を中心に数々の製品ソフトウェア設計を成功させたバックグラウンドを持ち、ディープラーニングをインパクトに変える研究開発をオープンに推進。ご相談はTwitterアカウントへのDMにてお願いします。

記事の内容等について改善箇所などございましたら、
お問い合わせフォームよりAI-SCHOLAR編集部の方にご連絡を頂けますと幸いです。
どうぞよろしくお願いします。

お問い合わせする