より高品質な画像特徴量を獲得する方法:Supervised Contrastive Learning

3つの要点
✔️ 画像特徴量を学習する手法としてSupervised Contrastive Lossを定義した
✔️ Supervised Contrastive Lossを用いて学習した特徴量は、Cross Entropy Lossを用いて学習した特徴量よりも画像分類精度を向上させることができた  
✔️ Supervised Contrastive Lossを用いた特徴量学習はハイパーパラメータの影響を受けづらく、さらに獲得した特徴量は画像の品質に対してロバストであった

Supervised Contrastive Learning
written by Prannay Khosla, Piotr Teterwak, Chen Wang, Aaron Sarna, Yonglong Tian, Phillip Isola, Aaron Maschinot, Ce Liu, Dilip Krishnan
(Submitted on 23 Apr 2020)
Comments: Published by arXiv
Subjects: Machine Learning (cs.LG); Computer Vision and Pattern Recognition (cs.CV); Machine Learning (stat.ML)

 

図１. 画像分類精度比較(引用: 論文[1])

 

　最近発表された論文[2]にてSelf-supervised Contrastive Learningに基づく、SimCRLというアルゴリズムが提案されました。SimCRLでは画像特徴量を学習する際に教師データを一切使いません。しかし獲得した特徴量を用いてクラス分類モデルを作成(Fine-tuning**)すると、1%ほどの教師データを使用した半教師あり学習でも、全ての教師データを使用した教師あり学習に匹敵する(ImageNetデータセットにてAlexNetのTop-5精度を上回る)クラス分類精度が得られることで話題になっています。

 

　本記事で紹介する論文:Supervised Contrastive Learningも、このContrastive Learningに着目したものです。SimCRLと異なる新規性として、特徴量を学習する際に教師データ情報も利用するSupervised Contrastive Learning という手法を提案しています。

 

　論文ではSupervised Contrastive Lossによって得られた特徴量を用いて転移学習を行い、Cross Entropy Lossを用いて学習した特徴量とクラス分類精度を比較しています。結果として図1に示すように、ReNet-50とResNet-200においてCross Entropy誤差関数よりも高い分類精度を得られる画像特徴量を獲得できたという実験結果を示しています。

---------------------------------------------------------------------

本記事では以下の流れで論文を解説します。

1. Self-supervised Contrastive Learningの説明
2. 論文が提案するSupervised Contrastive Learningの説明
3. Cross Entropy LossとSupervised Contrastive Lossによって得られた特徴量の性能比較
4. Supervised Contrastive Lossを用いた学習方法のハイパーパラメータに対するロバストさに関する実験結果
5. Supervised Contrastive Lossによって得られる特徴量の画像品質に対するロバストさに関する実験結果
6. 結言

 

この記事に関するカテゴリー

• Contrastive Learning
• 画像認識