【MGSER-SAM】継続学習における破滅的忘却問題の解決手法

continual learning 2024年11月01日

3つの要点
✔️ 継続学習における「破滅的忘却」問題への対応を目指したMGSER-SAMの提案。
✔️ シャープネス認識最適化（SAM）と経験リプレイ（ER）を統合した新しいアルゴリズムの開発。
✔️ ソフトロジットとメモリ勾配方向の整合性を用いて、モデルの一般化能力と学習性能を向上させる手法の実証。

MGSER-SAM: Memory-Guided Soft Experience Replay with Sharpness-Aware Optimization for Enhanced Continual Learning
written by Xingyu Li, Bo Tang
(Submitted on 15 May 2024)
Comments: 8 pages, 5 figures
Subjects: Machine Learning (cs.LG)

code：

本記事で使用している画像は論文中のもの、紹介スライドのもの、またはそれを参考に作成したものを使用しております。

概要

継続学習(CL)では、新しいタスクを学習する際に、以前に学習した情報を失う「破滅的忘却」問題が深刻です。本研究では、この問題に対処するため、MGSER-SAMという新しい記憶リプレイベースのアルゴリズムを提案しています。まず、SAMオプティマイザを統合し、既存のERやDER++のような経験リプレイフレームワークに適応させています。次に、継続学習プロセスにおける現在のタスクと以前に保存されたメモリ間の重み摂動方向の対立を解消するため、ソフトロジットとメモリ勾配方向の整合性を戦略的に取り入れています。これにより、MGSER-SAMは様々なトレーニング損失項の同時最小化を効果的に行うことができています。実験結果では、MGSER-SAMは全てのCLシナリオにおいて、既存のベースラインを上回る性能を示しています。

提案手法(MGSER-SAM)

ER-SAM（Sharpness Aware Minimization付き経験リプレイ）

MGSER-SAMの基盤となるER-SAMは、SAMオプティマイザを経験リプレイ（ER）に統合し、損失関数の幾何学を平坦化することでモデルの一般化能力を向上させる手法です。SAMは、モデルパラメータ空間の近傍で最悪の場合の損失を最小化することで、モデルの平坦性を向上させます。

SAMをERに統合することで、以下のような損失関数を最適化します。

ここで、$\rho $は近傍の半径を制御する定数であり、$\delta$は最悪の場合の損失を最大化する重み摂動です。これにより、モデルは次のように更新されます：

ここで、$\ g_{ER-SAM} $は摂動後の損失関数の勾配です。

MGSER-SAM

MGSER-SAMは、ER-SAMの限界を克服し、現在のタスクとメモリの重み摂動方向間の対立を解消するために設計されています。具体的には、以下の二つの正則化項を導入しています。

1. ソフトロジット: 現在のタスクの損失項とメモリ損失項の代替として、モデルの出力ロジットを利用します。これにより、モデルは新しいタスクを学習する際に、以前のタスクのロジットとの整合性を保つように更新されます。具体的には、以下のような損失関数を最適化します。

ここで、$\ z' $はメモリデータ $\ x' $に対応するソフトロジットです。

2. メモリ勾配方向の整合性: SAMオプティマイザとメモリリハーサル技術を統合し、メモリ勾配方向をガイドすることで、よりバランスの取れた学習プロセスを実現します。

最終的なMGSER-SAMのモデル更新は以下のようになります。

実験

ベンチマーク

本研究では、三つの継続学習シナリオ（タスク増分学習、クラス増分学習、ドメイン増分学習）に対して複数のベンチマークを使用しました。ベンチマークの詳細は以下の通りです。

S・MNIST: タスク増分学習（task・IL）およびクラス増分学習（class・IL）
S・CIFAR10: タスク増分学習（task・IL）およびクラス増分学習（class・IL）
S・CIFAR100: タスク増分学習（task・IL）およびクラス増分学習（class・IL）
S・TinyImageNet: タスク増分学習（task・IL）およびクラス増分学習（class・IL）
P・MNIST: ドメイン増分学習（domain・IL）
R・MNIST: ドメイン増分学習（domain・IL）

ベースライン

提案手法MGSER・SAMの性能を評価するために、以下の代表的なベースラインと比較しています。

・ LWF (Learning without Forgetting)
・ PNN (Progressive Neural Networks)
・ SI (Synaptic Intelligence)
・ oEWC (Online Elastic Weight Consolidation)
・ ER (Experience Replay)
・ DER++ (Dark Experience Replay)

さらに、SAMオプティマイザの適応性を評価するために、ER・SAMおよびDER++・SAMとも比較しています。

評価指標

公平な比較を行うために、全てのモデルを同じハイパーパラメータと計算リソースでトレーニングしています。また、評価指標として以下の二つを使用しています。

1. 平均精度 (ACC): すべてのタスクの学習後の平均テスト精度
2. 忘却率 (Forget): 以前のタスクの最高精度と最後のテスト精度の差

結果

性能分析

表IIは、S・MNIST、S・CIFAR10、S・CIFAR100、S・TinyImageNet、P・MNIST、およびR・MNISTベンチマークにおける各手法の性能を示しています。結果は、提案手法MGSER・SAMが全てのベンチマークで最良の性能を達成していることを示しています。特に、S・MNISTではテスト精度が93.29%に達し、ERおよびDER++よりもそれぞれ4.2%および17.6%向上していることがわかります。

CLプロセス中の調査

図3は、CLプロセス中におけるS・MNIST、S・CIFAR10、およびS・CIFAR100の最初のタスクのテスト精度の変化を示しています。MGSER・SAMは、各タスクの学習後に最初のタスクのテスト精度が最も高いことを示しています。例えば、S・CIFAR10では、MGSER・SAMの最初のタスク精度は24.05%減少し、これはERおよびDER++の損失よりもそれぞれ54.92%および12.06%低いことがわかります。

クラス増分学習中の全タスクのACC

図4は、P・MNISTおよびS・TinyImageNetにおける全タスクの平均精度（ACC）の変化を示しています。MGSER・SAMは、各タスクの学習後に最も高いACCを達成していることがわかります。例えば、P・MNISTでは、20タスク学習後のMGSER・SAMのACCが89.92%であり、これは最初のタスク学習後のERのACCを上回ります。

メモリ容量の影響

図5は、異なるメモリバッファサイズ（M ∈ [400, 2000]）における各ベンチマークのクラス増分学習における平均精度（ACC）を示しています。結果は、MGSER・SAMが常に最良の性能を示していることを示しています。また、メモリバッファサイズが増加するにつれて、全ての比較手法の性能が向上することがわかります。

結論

本稿では、継続学習（CL）における「破滅的忘却」問題を解決するために、シャープネス認識最小化（SAM）を経験リプレイ（ER）フレームワークに統合した新しいアルゴリズム、MGSER-SAMを提案しました。MGSER-SAMは、タスク間の重み摂動方向の対立をソフトロジットとメモリ勾配方向の整合性で解消し、複数のベンチマークで最大24.4％の精度向上と最小の忘却率を達成しました。

今後は、ハイパーパラメータの最適化、他のCLシナリオやデータセットへの適用、計算コスト削減手法の開発、リアルタイム応用やエッジデバイスでの実装、理論的裏付けの強化などを通じて、MGSER-SAMの実用性をさらに向上させることが期待されるでしょう。

この記事に関するカテゴリー

Sasayama

最新AI論文をキャッチアップ

【MGSER-SAM】継続学習における破滅的忘却問題の解決手法

概要

関連研究

継続学習の三つのシナリオ

継続学習アプローチの三つのタイプ

提案手法(MGSER-SAM)