実務におけるモデル更新の辛みを解決！？　バックフィルフリーのモデル差し替えを実現する表現学習手法が登場！！

3つの要点
✔️ CVPR2020のoral論文：後方互換性のある特徴表現を学習する手法を提案
✔️ ネットワーク構造や損失関数にも依存しない互換性基準の定義と学習方法   
✔️ バックフィルなしでモデルの差し替えが可能に

Towards Backward-Compatible Representation Learning
written by Yantao Shen, Yuanjun Xiong, Wei Xia, Stefano Soatto
(Submitted on 26 Mar 2020 (v1), last revised 29 Mar 2020 (this version, v2))
Comments: Accepted to CVPR 2020 as oral
Subjects: Computer Vision and Pattern Recognition (cs.CV)

はじめに

　CVPR2020 Representation LearningセッションのOral論文になります。表現学習の後方互換性を達成し、バックフィルフリーのモデル更新を目指したものになります。

　表現学習は、データの有効な特徴表現を得ることを目的とした学習を指すもので、得られた特徴表現は類似度マッチングや検索、レコメンドなどのタスクに応用することができます。具体的には、「新しいデータがクエリとして与えられた時に、DNNでベクトル空間にマッピングし（埋め込みと呼ぶ）、その埋め込み空間上でギャラリーセットと比較を行ってマッチング」等の流れになります。このように、ベクトル空間にマッピングすることで、キーワード検索などのような完全一致を必要とするクエリだけでなく、抽象的なクエリにも精度良く対応できるようになったことが大きな利点となっています。 

 

　実際に筆者自身も業務でこのようなフレームワークを使っており、汎用性が高いため、AIサービスの多くでこういった手法が使われていると思います。

　一方で、こういったサービスを運用していると直面することになるのが「モデル更新が大変」という課題です。AIサービスを展開していると、時間が経つにつれデータが蓄積されていき、増大したデータセットで再学習することによって埋め込みの品質を向上させることが可能です。また、運用をはじめることで精度不足やモデルが苦手なケースなどの問題が浮かび上がってきて、改善の必要性が生じることもあると思います。

　ただし、新しく学習し直したモデルの埋め込み空間と旧モデルの埋め込み空間が共通になることは保証されていない（通常全く異なる空間への写像になる）ため、それぞれのモデルによる埋め込みを直接比較することはできません。そのため、既存のギャラリーセットの埋め込みを、新モデルによって全て差し替えなければならなくなります（バックフィルと呼びます）。

この記事に関するカテゴリー

• 継続学習
• 表現学習