フォワードコンピュテーションを並列化！？これまでの固定概念を崩す研究の登場！

3つの要点

✔️ 深層学習の逐次的な計算であるフォワードコンピュテーションを並列化する手法の提案
✔️ フォワードコンピュテーションを複数の非線形な方程式と見なし、ソルバーから計算
✔️ フォワードコンピュテーションを最大33倍高速化することに成功

Nonlinear Equation Solving: A Faster Alternative to Feedforward Computation
written by Yang Song, Chenlin Meng, Renjie Liao, Stefano Ermon
(Submitted on 10 Feb 2020)
Comments: accepted by arXiv
Subjects: Machine Learning (cs.LG); Machine Learning (stat.ML)

はじめに

深層学習は画像認識をはじめ、自然言語処理や音声処理などの様々な分野で従来手法に比べ、大幅に性能を向上させました。一方、深層学習モデルの学習には大量のパラメータの最適化が伴うため、大量の計算をGPUやTPUによって、並列に計算しています。
しかし、GPUやTPUを使用しても並列ができない処理があります。その代表例としてニューラルネットワークのフォワードコンピュテーションや自己回帰モデルのような、逐次的に計算をする必要がある処理です。
スキップコネクションのない単純な画像認識モデルのフォワードコンピュテーションを考えてみましょう。入力画像$x$に対して、畳み込みやプーリングを逐次的に行っていき、最終的な予測結果を出力します。つまり、ある層の入力はその一つ前の層の出力に依存しています。この性質からニューラルネットワークのフォワードコンピュテーションの並列計算は不可能だろうと考えられてきました。
今回紹介する研究では、これまで並列化不可能と考えられてきたフォワードコンピュテーションを並列化する手法を提案しています。これは、それぞれの各層の状態を非線形な方程式とみなし、それをソルバーを用いて並列に解くことで可能となります。しかし、非線形な方程式をソルバーで解くということは、必ずしも真の値に収束するとは限りません。
しかし、ニューラルネットワークのフォワードコンピュテーションなどは良い性質を持っており、真の値に収束することが、この研究によって示されています。これにより、フォワードコンピュテーションだけではなく、バックプロパゲーションなどの処理も並列化でき、さらに深層学習の研究を推し進めると期待されます。

なかじめ

元々画像認識を専門としていましたが、最近はセキュリティ分野、とくにバックドア攻撃に興味があり様々な論文を読んでいます。また、モデルの精度にはあまり興味がなく、これからAIが普及するにはどのような事が重要になってくるのか、といった視点で日々情報を収集しています。例えば、データのプライバシーや公平なAIに興味を持ち始めました。