何を学習するかさえも学習する！メタ学習を用いた自己教師あり学習に対するラベルの自動探索について

3つの要点
✔️ 学習すべきラベルをニューラルネットワークに生成させるMAXLの提案
✔️ クラスの階層構造に注目したMask SoftMaxの利用
✔️ メタ学習を用いることで既存のラベルよりも優れた性能を示した

Self-Supervised Generalisation with Meta Auxiliary Learning
written by Shikun Liu, Andrew J. Davison, Edward Johns
(Submitted on 25 Jan 2019 (v1), last revised 26 Nov 2019 (this version, v3))
Comments: Published by Neural Information Processing Systems 2019 (NIPS2019)
Subjects: Machine Learning (cs.LG); Computer Vision and Pattern Recognition (cs.CV); Machine Learning (stat.ML)

現在世界は第3次AIブームであり、ますますディープラーニングが注目を浴びていますが、AIが社会で活躍するために超えなくてはいけないある障壁が存在しています。

 

それは、「訓練データを用意するコスト」です。

画像認識や自然言語処理などにおける、ある特定の分野に関しては人間に勝るとも劣らない精度をすでに達成しているAIですが、それらの性能を根本から支えているのはなんと言っても膨大な数の訓練データです。

そのため、我々が現実でAIを利用しようとした際も当然ながら膨大な訓練データを用意する必要が出てきます。

 

この「訓練データを用意するコスト」という障壁をいかにして乗り越えるかの解決策として、教師なし学習があります。

教師なし学習はその名の通りラベルの存在しない、いわゆる「生の」データから良い特徴抽出などを学習する手法となっており、教師なし学習手法の発達はAIを社会に適用させていく上で不可欠であると言えます！

 

しかしながら従来の教師なし学習における研究には決定的な問題が2つあります。

一つ目は「どのような手法がいいのかは自分で考えるしかない」こと、そして二つ目は「それが良い手法かどうかは実験しないとわからない」ということです。

 

つまり、今現在提案された手法が最もいい手法である保証はどこにもないし、またそのような手法は人が探すしかないということです。

 

そこで今回我々は、そんな教師なし学習手法の持つ致命的な弱点の解消を試みる、メタ学習を用いた学習の自動探索に関する論文を紹介したいと思います！

モデルとなるニューラルネットワークが学習すべきラベルをさらにニューラルネットワークを用いて自動生成してしまおう、という内容になっています！

以下の図で具体的に説明します。

図が示すように、このMeta AuXiliary Learning (MAXL)ではラベルのついた訓練データを使って訓練する際に加える補助タスクとして教師なし学習を利用しています。

ベースとなるモデルが実際に解くべきタスクを学習する際に、補助的なタスクに対して生成したラベルを用いて学習を行わせています。

 

この研究は完全にラベルが存在しない教師なし学習に対して手法が提案されているわけではないですが、「学習を自動探索する」という点において非常に興味深い内容となっています！

この記事に関するカテゴリー

• 画像認識
• メタ学習
• self-supervised learning
• image2image
• metric learning