パラメータを学習しない?これまでの常識を覆す新たなネットワーク「WANN」登場!!

3 つの要点

 

✔️ パラメータを学習せずに構造だけでタスクを解くネットワーク「WANN」の提案

✔️ 入力の数が少ないものから多いものまで、様々なタスクに適用可能

✔️ 「WANN」は共通のパラメータを持つため、パラメータ調整が簡単

 

突然ですが、深層学習で何かタスクを解きたい時、どのようなステップを踏む必要があると思いますか?

おそらく読者の皆様のほとんどが、訓練データを用意し、次に元となるネットワーク構造を用意して(例えば、画像分類タスクの場合、ResnetVGGなど)、そのネットワークの出力が正解ラベルと近くなるように内部のパラメータを学習する、というステップを想像するのではないでしょうか。

上記で見てきたステップは、言い換えると「ネットワーク構造を固定し、内部のパラメータを学習によって決定する」ということです。ネットワーク構造を最適化して、そのあとパラメータを学習するNeural Architecture Search (NAS)と呼ばれる研究もあります。しかし、こちらもパラメータを学習によって最適化しています。

 

しかし、本当にパラメータの学習は必要なのでしょうか。パラメータを学習させるよりも、もしかしてネットワーク構造の方が大切なのではないでしょうか?論文では、パラメータを学習させずに、ネットワーク構造を変化させるだけでタスクを解くことを提案しています。

実験の結果、パラメータを一切学習させずに、ネットワーク構造を変化させるだけである程度、タスクが解けるということが示されました。

ネットワーク構造の探索

では、どのようにネットワーク構造の探索を行うのか、このセクションで詳しく見ていきます。ここで重要なのは「ネットワーク構造を変化させるだけでタスクを解くことができるようにする」ということです。

つまり、精度がパラメータに依存しないようにする必要があります。そこで、以下の手順でネットワーク構造の探索を行いました。以下、図1は探索の手順を示したものです。

図1. ネットワーク構造の探索手順

1:基本となる複数の小さなネットワークを用意する。
2:それぞれのネットワークに統一的なパラメータを設定し、タスクに適用する。
3:ネットワークを精度と複雑度によって評価する。
4:最も高い評価のネットワークに変化を加える。

ステップ24を繰り返して、ネットワーク構造の最適化を図ります。それぞれのステップをより詳しく見ていきましょう。

この記事をシェアする

コメント

Yoshihiro Saito | AI音楽プロデューサー  @YoshihiroSaito
2019/08/29 05:07

WANNこれ結構すごいのでは? 勾配降下法を使わずに精度を上げられる、なおかつこれまでのディープラーニングのブラックボックスの問題も少なからず改善できるなら相当有用かも。 パラメータを学習しない?これまでの常識を覆す新たなネットワーク「WANN」登場!!|AI-SCHOLAR https://t.co/nmi6uF0oah