NeurIPS2020 survey
本記事のキャッチアップ目標
今回の記事では、AI分野において権威あるカンファレンスの一つであるNeurIPS2020の概要をお伝えすることを目的としています。この記事では、以下のトピックについてのお伝えします。
- NeurIPSとは
- NeurIPS 2020の変更点
- NeurIPS 2020で発表された内容で上がってきたトピックとは？
はじめに
NeurIPSは、機械学習の分野では最大級国際カンファレンスです。
毎年、機械学習や計算論的神経科学に関する斬新な研究に関する発表が1週間に渡って開催されます。
NeurIPSに投稿された9,467件の論文のうち、採択されたのはわずか1898件で、105件の論文がOral、280件の論文がSpotlightで発表されました。下の図を見ていただければわかるように、投稿論文数は2年ごとにほぼ倍増しています。今年の採択率は20％で、2018年の20.8％、2019年の21.6％と比較すると低くなっています。論文投稿数の増加からもわかるように、学会の人気が高まっている一方で、受入れ基準も厳しくなっています。
データはNeurIPSで公開されている投稿数と受理数のデータです。
NeurIPS 2020の変更点
NeurIPS2020は、COVID-19の影響でバーチャルでの開催となりました。そのほかにも例年に比べて大きな変更点がいくつかありました。
1)1つ目に、セッションのスケジュールです。世界各国からオンライン（バーチャル）で参加するため、参加者のタイムゾーンがそれぞれ異なることを考慮して、毎日2つの同じセッションを異なる時間に開始していました。
（例）1つのセッションは午前5時（PT）から。もう1つのセッションは午後5時（PT）から。
2)次に、ポスター発表のためのインタラクティブな環境をつくるために、Gather Townと呼ばれる仮想空間でこれらの発表が行われました。これにより、参加者はポスターエリアに行き、発表者や他の参加者とリアルタイムで話をすることができました。
3)また、疫学者、バイオテクノロジーのリーダー、政策立案者、グローバルヘルスの専門家による講演やディスカッションが行われるCOVIDシンポジウムがありました。彼らは、COVID-19とパンデミックの解決を支援するために機械学習を使用する機会と課題について議論していました。
4)さらに、倫理とより広範な影響に関する取り組みがありました。最近では、プライバシー、社会的・経済的影響、技術の誤用、説明責任など、機械学習における多くの倫理的問題が研究の注目を集めています。これらの問題を解決するための取り組みとして、今年は提出される論文に対し、「Broader Impact（広範な影響）＝研究内容が社会（広範囲）に与える影響」の記述要件が追加されました。査読者が、その論文が不公平な偏見を生み出したり、助長したりすると判断した場合、あるいは論文の焦点が危害や傷害を引き起こす可能性があると判断した場合には、不合格の理由とすることができる、というものでした。
NeurIPS2020の変更点をまとめると
バーチャル開催・プレゼンテーションスケジュール・COVIDシンポジウム・Broader Impactの要件追加
という大きな変更がありました。
受理された論文の分析
人気な単語
学会で採択された論文の内容をよく見てみましょう。学会で採択された論文のタイトルを用いて、以下のようなワードクラウドとトップキーワードの図を生成しました。
NeurIPS 2020論文のワードクラウドとトップキーワード
なお、上の図を作成するにあたり、「ニューラル」「学習」「ネットワーク」「アルゴリズム」などの機械学習用語やよく使われる用語は削除しています。
NeurIPS2019の人気用語は「Optimization=最適化」、「Reinforcement＝強化」、「Efficient＝効率化」、「Bayesian＝ベイズ」「Graph＝グラフ」でした。これらのキーワードのほとんどが、NeurIPS2020も人気のキーワードとなっています。「Optimization=最適化」「Reinforcement＝強化」、「Adversarial=敵対的」「Robust＝ロバスト」などが人気のキーワードでした。
ここでは、NeurIPS2020で人気のある用語をいくつか紹介します。NeurIPS2019の人気用語の詳細については、こちらのリンクを参照してください。
Adversarial=敵対的
近年、MLやAI全般が様々な分野や業界で躍進しています。多くのMLモデルは、速度や精度の面で人間の性能に比べて良くなってきています。しかし、これらの最先端モデルにはまだまだ弱点があります。精度の高いモデルは、敵対的攻撃に簡単に騙されてしまうことです。adversarialは、その語源である「敵対」から、異なる当事者間の反発や衝突を表現しています。モデルが正常に動作しない原因となるように、敵対的な攻撃が行われます。
下の画像を見てみましょう。
出典：Generating Adversarial Perturbation with Root Mean Square Gradient
キャプション： Figure 1: We show clean images and corresponding adversarial images crafted on a deep neural network: Inception-v3 by our proposed algorithm.
左側に位置する写真(画像)は、画像分類モデルによってラベルを付与されています。ご覧のように、ラベルは正しく、モデルはその予測に自信（90%以上）を持っています。真ん中の暗い画像は、モデルを混乱させようとする摂動や敵対的な攻撃です。摂動が元の画像（左側の画像）に加えられると、モデルは明らかに異なるラベルを予測します（右の予測結果参照）。私たち人間は画像を正しく識別することができますが、生成されたノイズが画像に追加されるとモデルは騙されてしまいます。
これは敵対的な攻撃の一例に過ぎません。モデルの中には、他のモデルを騙すために特別に訓練されているものがあります。Adversarial attackは、顔認識やスパムフィルタリングなど、他のAIのユースケースでも利用できます。これは現在のモデルの弱点を示すものかもしれませんが、敵対的な攻撃を利用して、より堅牢なモデルも作ることができます。
Robust=ロバスト
上述したように，今日のMLモデルにはまだ弱点があります．精度の高いモデルは，分布からはずれた入力が与えられた場合に失敗することがあります．ロバストとは，入力データの異なるパターン，攻撃，データの急激な変化を正しく処理するモデルの汎化的な能力のことです。
ロバストモデルを作成する際の大きな問題の1つは、モデルを騙すために特別に作られた敵対的な攻撃から守ることです。これに対処する方法の一つは、これらの攻撃自体から学習することです。最近では、攻撃や目に見えないデータ変化に対してロバストなモデルを作ることに大きな関心が集まっています。
Word Co-occurrence=単語共起
投稿論文をより深く分析するために、採択された論文の抄録から抽出した重要用語の共起ネットワークを生成しました。これにより、文書内で通常一緒に使われているキーワードを明らかにしています。共起ネットワークを分析することで、キーワードクラスタの概要や、どのキーワードが互いに関連しているのか、どのキーワードがより頻繁に使われていたのかなどを見ることができます。
この図の生成にはVOSviewerを使用しています。入力としては、NeurIPS 2020に採択された論文の抄録テキストを与えて、クラスタリングと自然言語処理技術を自動的に適用しました。
円と単語の大きさは、その単語がどれだけ頻繁に使われたかを示しています。円の大きさが大きいほど使用頻度が高く、円どうしのつながりは、これらの単語が同じ文書内で一緒に使われていることを意味します。色は、計算されたキーワードのクラスターです。
共起度の図から、4つの主要なクラスターがあることがわかります。それぞれのクラスターにおける観察結果を見てみましょう。
・緑のクラスターでは、コンピュータビジョンや自然言語処理に関連したキーワードが見られます。緑のクラスターでは、「image」、「text」、「language」、「object」などの一般的なキーワードが最も多く使われていることがわかります。また、「BERT」や「GAN」などの一般的な手法のキーワードもよく使われています。
・青のクラスターでは、「graph」、「adversarial」、「general deep learning term」が多くみられました。「robustness」、「defense」、「attack」などの用語は、敵対的学習に関連しています。次に、「GNN 」、「flow」、「classifier」、「layer」、「DNN」などの用語は、グラフ学習や深層学習に関連しています。
・一番わかりやすいのは黄のクラスターです。ほとんどの用語が強化学習に関するものです。「agent」「action」「reward」などの強化学習関連用語の丸が大きく、強化学習への関心が高いことを示しています。
・最後に、赤クラスターには、MLやニューラルネットワークの設計に関する用語が入っています。「function space」、「rate」、「iteration」、「SGD」、「Adam」、「ReLU」はニューラルネットワークの設計に関する用語です。これらの言葉は、通常、モデル設計やアーキテクチャについて説明するときに使用されます。
おわりに
今回の記事では、NeurIPS 2020の変更点と、NeurIPS 2020の論文から人気のあるキーワードに関する考察についてお伝えしました。NeurIPS2020での変更点の一つはBroader Impact（理論が社会に与える影響）の記述を論文の要件として追加されたことです。この変更点はとても意義のあることです。機械学習の技術がもたらすポジティブな側面とネガティブな側面を理解（見極める）ことは、技術の悪用を減らすためにも必要だからです。
お知らせ
DXやAIと言った言葉が独り歩きし、多くの企業を迷わせているのが現状だと思います。そういったニーズに合わせて多くのイベントがありますが、結局は会社ごとに課題感もフェーズも異なっています。だからこそ、オーダーメイドで壁打ちをしていくことが重要です。しかし、それは労力が大きく、ほとんどの企業はやっていません。またはコンサルとなってしまうのがほとんどでしょう。
今回はマクニカのシニアコンサルとデータサイエンティストの時間を確保し、無料かつ少人数での壁打ちイベントをしてくださいます。業種や分野は問いません。とにかく、DXやAIに興味があり、改善の考えを壁打ちに付き合っていただきたい企業や大学が対象になります。
執筆者情報
-
AI Research & InnovationHub (MACNICA, Inc.)
マクニカのARIH（AI Research & InnovationHub）
マクニカのARIH（AI Research & InnovationHub）では、最先端のAI研究・調査・実装による評価をした上で最もふさわしいAI技術を組み合わせた知見を提供し、企業課題に対する最適解に導く活動をしています。
この記事に関するカテゴリー
