最新AI論文をキャッチアップ

AI人材就職支援 vistAI

Contrastive LearningとクラスタリングでSOTA!?  (画像の表現学習2020夏特集3)

Contrastive LearningとクラスタリングでSOTA!? (画像の表現学習2020夏特集3)

画像認識

3つの要点
✔️ Contrastive Learningの難点ネガティブサンプリングをクラスタリングで回避
✔️ EMアルゴリズムとクラスタリングを組み合わせた手法PCL

✔️ クラスタリングの一貫性を目的とした学習で更に性能を向上した手法SwAV

Prototypical Contrastive Learning of Unsupervised Representations (PCL)
written by Junnan LiPan ZhouCaiming XiongRichard SocherSteven C.H. Hoi
(Submitted on 11 May 2020)

Comments: Published by arXiv
Subjects: Computer Vision and Pattern Recognition (cs.CV); Machine Learning (cs.LG)

Code

Unsupervised Learning of Visual Features by Contrasting Cluster Assignments (SwAV)
written by Mathilde CaronIshan MisraJulien MairalPriya GoyalPiotr BojanowskiArmand Joulin
(Submitted on 17 Jun 2020)

Comments: Published by arXiv
Subjects: Computer Vision and Pattern Recognition (cs.CV)

Code

ライター持ち込み特集企画「画像の表現学習2020夏」と題して、教師なし学習による各種手法をご紹介しています。 

その1. ドメイン知識なし教師なし学習を実現したImage GPT、画像生成もすごい!
その2. Contrastive Learningの2大手法SimCLR・MoCo、それぞれの進化
その3. (★今回) Contrastive LearningとクラスタリングでSOTA!?
その4以降. Contrastive Learningへの問題提起、DeepMindの手法の意外な側面など続きます。

二度に渡るAIの冬を乗り越え、大量の画像データセットImageNetで表現力を得ることで、2012年に画像のAIが大きく花開きました。しかし、これには人による画像のラベル付けに大きなコストが必要でした。これに対して、2018年に自然言語処理でフェイクニュースの懸念になるほど大きな社会的インパクトを与えたBERTは、莫大なデータをそのまま利用できることも大きな特徴です。

Contrastive Learning(対照学習)とは、コストのかかるラベル付けの代わりにデータ同士を比較する仕組みを使い、膨大なデータをそのまま学習できる教師なし学習の一つです。画像への応用で成果を上げてきており、すでにImageNet学習済みモデルの性能を超え、BERTのようにこれからのインパクトが画像分野で期待されています。

前回の記事では、このContrastive Learningについて、またその2大手法SimCLR・MoCoについて見てきました。

Constrastive Learning学習全体の様子 (ライター作成)

  • SimCLRはストレートな実装で高い性能だが、ネガティブサンプルの数を増やすためバッチサイズが巨大になっていた。
  • MoCoはその欠点を補うため、Memoryメカニズムでオンザフライにネガティブサンプルをキューイングする解決を図った。

MoCoのような解決方法以外に、クラスタリングで代表サンプル「プロトタイプ」を用意して、その代表を大量なネガティブサンプルの代わりにする方法があります。

今回はそのクラスタリングを活用した手法にフォーカスしたいと思います。

  • EMアルゴリズムの枠組みで「クラスタリング」「最適化」を繰り返す堅実な手法PCL
  • クラスタリングの一貫性をタスクに置き換えることで性能を向上したSwAV。

続きを読むには

(7323文字画像18枚)

AI-SCHOLARに
登録いただく必要があります。

1分で無料で簡単登録する

または
daisukelab avatar
製造業を中心に数々の製品ソフトウェア設計を成功させたバックグラウンドを持ち、ディープラーニングをインパクトに変える研究開発をオープンに推進。ご相談はTwitterアカウントへのDMにてお願いします。

記事の内容等について改善箇所などございましたら、
お問い合わせフォームよりAI-SCHOLAR編集部の方にご連絡を頂けますと幸いです。
どうぞよろしくお願いします。

お問い合わせする