パラメータを学習しない？これまでの常識を覆す新たなネットワーク「WANN」登場!!
3 つの要点
✔️ パラメータを学習せずに構造だけでタスクを解くネットワーク「WANN」の提案
✔️ 入力の数が少ないものから多いものまで、様々なタスクに適用可能
✔️ 「WANN」は共通のパラメータを持つため、パラメータ調整が簡単
突然ですが、深層学習で何かタスクを解きたい時、どのようなステップを踏む必要があると思いますか？
おそらく読者の皆様のほとんどが、訓練データを用意し、次に元となるネットワーク構造を用意して(例えば、画像分類タスクの場合、ResnetやVGGなど)、そのネットワークの出力が正解ラベルと近くなるように内部のパラメータを学習する、というステップを想像するのではないでしょうか。
上記で見てきたステップは、言い換えると「ネットワーク構造を固定し、内部のパラメータを学習によって決定する」ということです。ネットワーク構造を最適化して、そのあとパラメータを学習するNeural Architecture Search (NAS)と呼ばれる研究もあります。しかし、こちらもパラメータを学習によって最適化しています。
しかし、本当にパラメータの学習は必要なのでしょうか。パラメータを学習させるよりも、もしかしてネットワーク構造の方が大切なのではないでしょうか？論文では、パラメータを学習させずに、ネットワーク構造を変化させるだけでタスクを解くことを提案しています。
実験の結果、パラメータを一切学習させずに、ネットワーク構造を変化させるだけである程度、タスクが解けるということが示されました。
ネットワーク構造の探索
では、どのようにネットワーク構造の探索を行うのか、このセクションで詳しく見ていきます。ここで重要なのは「ネットワーク構造を変化させるだけでタスクを解くことができるようにする」ということです。
つまり、精度がパラメータに依存しないようにする必要があります。そこで、以下の手順でネットワーク構造の探索を行いました。以下、図1は探索の手順を示したものです。
図1. ネットワーク構造の探索手順
１:基本となる複数の小さなネットワークを用意する。
２:それぞれのネットワークに統一的なパラメータを設定し、タスクに適用する。
３:ネットワークを精度と複雑度によって評価する。
４:最も高い評価のネットワークに変化を加える。
ステップ2〜4を繰り返して、ネットワーク構造の最適化を図ります。それぞれのステップをより詳しく見ていきましょう。
続きを読むには
(4533文字画像6枚)AI-SCHOLARに
登録いただく必要があります。
この記事に関するカテゴリー
