DeepClusterを越える、自己教師あり表現学習の新手法「SeLa」を詳解！

self-supervised learning 2020年05月06日

3つの要点
✔️ 完全教師なしでラベリングと特徴表現の両方を学習する「SeLa」を提案
✔️ 表現学習と自己ラベリングに共通の学習目的を定め、最適輸送問題として定式化
✔️ SVHN、CIFAR-10、CIFAR-100、ImageNetでDeepClusterを上回る結果

Self-labelling via simultaneous clustering and representation learning
written by Yuki Markus Asano,Christian Rupprecht,Andrea Vedaldi
(Submitted on 13 Nov 2019 (v1), last revised 19 Feb 2020 (this version, v3))
Comments: Published by ICLR 2020
Subjects: Computer Vision and Pattern Recognition (cs.CV); Neural and Evolutionary Computing (cs.NE)

はじめに

自己教師あり学習で有用な表現を学習する新しい手法の紹介になります。先行研究にはTwitterなどでも話題になったことがあるDeep Clusterがあります。これらの手法は擬似ラベルの発見とそれを使った学習というプロセスを繰り返して最適化を行っていきます。

ここで、クラスタリングと表現学習を共通の目的に従って最適化する事で既存手法を改善し、特にクラスタリングの目的を最適輸送問題として定式化している部分が新規の部分になります。提案手法は様々な実験でDeepClusterの性能を上回っています。

実際にラベル無しのデータセットから学習を開始し、得られたカテゴリと分類結果の一例を図aに示します。ラベル無しでもこのようなことができるようになります。より多様性の限られたデータセットなら、さらに優れた結果が出るかもしれません。