最新AI論文をキャッチアップ

AI人材就職支援 vistAI

Contrastive Learningの2大手法SimCLR・MoCo、それぞれの進化 (画像の表現学習2020夏特集2)

Contrastive Learningの2大手法SimCLR・MoCo、それぞれの進化 (画像の表現学習2020夏特集2)

画像認識

3つの要点
✔️ ビッグプレーヤー達がアプローチするContrastive Learning、その高い性能を競い合う
✔️ 大量なネガティブサンプルの必要性とその回避

✔️ 対抗手法の改善を取り込んで更に性能を向上させるバージョンアップ

Big Self-Supervised Models are Strong Semi-Supervised Learners (SimCLRv2)
written by Ting ChenSimon KornblithKevin SwerskyMohammad NorouziGeoffrey Hinton
(Submitted on 17 Jun 2020)

Comments: Published by arXiv
Subjects: Machine Learning (cs.LG); Computer Vision and Pattern Recognition (cs.CV); Machine Learning (stat.ML)

Improved Baselines with Momentum Contrastive Learning (MoCo v2)
written by Xinlei ChenHaoqi FanRoss GirshickKaiming He
(Submitted on 9 Mar 2020)

Comments: Published by arXiv
Subjects: Computer Vision and Pattern Recognition (cs.CV)

ライター持ち込み特集企画「画像の表現学習2020夏」と題して、教師なし学習による各種手法をご紹介しています。 

その1. ドメイン知識なし教師なし学習を実現したImage GPT、画像生成もすごい!
その2. (★今回) Contrastive Learningの2大手法SimCLR・MoCo、それぞれの進化
その3以降. Contrastive Learningその他の手法など続きます…

この分野、近年数多くの手法が提案され活況を見せています。

例えば Papers With Code (論文やそのコードをまとめた有名サイト)のリーダーボード "Self-Supervised Image Classification on ImageNet" (ImageNetの自己教師あり学習) を見ると、2020年・2019年に提案された手法でトップが占めらているのを見ることができます。

今回はトップ付近に出てくる手法の中で非常によく引用され、比較対象としても引き合いに用いられるデファクトスタンダードな手法「SimCLR」「MoCo」それぞれバージョン2に至るまでの道のりを取り上げます。

これらの論文が精度を上げるまで、どのような特徴や工夫、経緯があったのでしょうか。

まずは、基本的なモチベーションや狙い、そして基本となるContrastive Learningについて、おさらいしたいと思います。(詳しい方はどうぞスキップしてください)

なぜ画像の教師なし学習?

画像の機械学習はもうすでに当たり前のように応用され、十分に性能が出ている、そんな認識が広まっているように思われます。

前回の記事「ドメイン知識なし教師なし学習を実現したImage GPT、画像生成もすごい!」に今までの経緯について書きましたが、きっかけとしては自然言語処理 (NLP) で「BERT (Devlin et al., 2019)」が非常に大きな影響力を与えたことにあるかもしれません。
※ BERT について詳しくは本メディア「Googleが公開した自然言語処理の最新技術、BERTとは何者なのか」も御覧ください。

BERTをきっかけとして様々なタスクの性能が向上し、NLPの進歩が見られたことから、画像に対しても同じように教師なしでモデルを学習させることで、性能の向上が期待されました。また、

ImageNet学習済み → (転移学習) → 画像分類・物体検出・セグメンテーションなどのタスク応用

 

この使い方が定着している状況で、2018年にはImageNet学習済みモデルの利用に疑問を投げかけた論文が書かれました。物体検出でImageNetを使った転移学習で必ずしも性能が上がるわけではなく、むしろ使わないほうが良い場合もあることが示されたのです。

続きを読むには

(9873文字画像15枚)

AI-SCHOLARに
登録いただく必要があります。

1分で無料で簡単登録する

または
daisukelab avatar
製造業を中心に数々の製品ソフトウェア設計を成功させたバックグラウンドを持ち、ディープラーニングをインパクトに変える研究開発をオープンに推進。ご相談はTwitterアカウントへのDMにてお願いします。

記事の内容等について改善箇所などございましたら、
お問い合わせフォームよりAI-SCHOLAR編集部の方にご連絡を頂けますと幸いです。
どうぞよろしくお願いします。

お問い合わせする