BroadFace：数万の顔インスタンスを一度に学習、ミニバッチ学習の限界を克服する新しい学習方法

3つの要点
✔️ 過去の埋め込みベクトルをキューとして蓄積、データをより包括的に学習に利用させ、識別能力を向上
✔️ 既存の顔認識に簡単に適用可能、さらに推論時に追加のメモリ負荷が不要
✔️ 9つのデータセットを利用した広範な実験によって、従来の手法と比べて大幅に精度を改善

BroadFace: Looking at Tens of Thousands of People at Once for Face Recognition
written by Yonghyun Kim, Wonpyo Park, Jongju Shin
(Submitted on 15 Aug 2020)
Comments: Accepted at ECCV2020
Subjects: Computer Vision and Pattern Recognition (cs.CV)

概要

顔認識は、電子決済、スマートフォンの画面ロック、監視カメラの人物検出などさまざまな場面で利用されています。顔認識に関する研究は何十年も行われていますが、この数年でCNN（Convolutional Neural Network）が採用されたことで、認識精度が劇的に向上しました。しかし、依然として多くの課題が残っています。

顔認識モデルの性能評価は初見のIDを含むデータセットを使って評価されるため、これまでほとんどの研究は、埋め込み空間の識別能力向上に注力されてきました。最近の主流は、クラス間の識別性とクラス内のコンパクトさを最大化する目的関数の導入です。

しかし、従来の研究では、メモリ制限のため、データセットの一部のみを利用した小さいミニバッチが適用されています。そのため、一度に多数のデータを利用してデータセットのIDを包括的に反映させ、埋め込み空間で最適な決定境界を学習することが難しくなっています。サイズが小さいミニバッチで数万個のIDを学習するには、膨大なイテレーションが必要になります。単純にミニバッチのサイズを大きくする方法も考えられますが、メモリ負荷が大きく実用的ではありません。また、過去の研究から必ずしも精度は向上しないないことがわかっています。

そこで、この論文では、データセットの膨大なIDを包括的に学習させるBroadFaceという学習法を新たに提案しています。分類器の重みベクトルである識別情報の中心ベクトルを数万という多数のインスタンスで推定することができます。反映されるインスタンス数が多いため、中心ベクトルをより高精度で推定ができます。BroadFaceは、ミニバッチ学習の限界を克服して、従来の顔認識手法にも容易に適用することができる新たな学習方法です。

BroadFaceは、過去のイテレーションによる埋め込みベクトルをキューとして保持し、各イテレーションのミニバッチとキューの両方の埋め込みベクトルを利用して分類器の決定境界を最適化します。このとき、モデルのパラメータは繰り返し更新されるため、その後のイテレーションで、キューの埋め込みベクトルとの誤差が発生します。そのため、過去のイテレーションとのIdentity-representativeベクトルの違いを考慮することで、埋め込みベクトル間の誤差を減らす補正も導入しています。

なお、過去に利用したデータに対するモデルの情報を保存するという点ではContinual Learning（継続学習）と共通していますが、BroadFaceが同じデータセットからの過去のデータの情報を保存するのに対して、Continual Learningは異なるデータセットからの過去のデータの情報を保存する点で異なります。

この記事に関するカテゴリー

• 画像認識
• 深層学習
• 顔認識