最新AI論文をキャッチアップ

AI人材就職支援 vistAI

パラメータを学習しない?これまでの常識を覆す新たなネットワーク「WANN」登場!!

パラメータを学習しない?これまでの常識を覆す新たなネットワーク「WANN」登場!!

論文

3 つの要点

 

✔️ パラメータを学習せずに構造だけでタスクを解くネットワーク「WANN」の提案

✔️ 入力の数が少ないものから多いものまで、様々なタスクに適用可能

✔️ 「WANN」は共通のパラメータを持つため、パラメータ調整が簡単

 

突然ですが、深層学習で何かタスクを解きたい時、どのようなステップを踏む必要があると思いますか?

おそらく読者の皆様のほとんどが、訓練データを用意し、次に元となるネットワーク構造を用意して(例えば、画像分類タスクの場合、ResnetVGGなど)、そのネットワークの出力が正解ラベルと近くなるように内部のパラメータを学習する、というステップを想像するのではないでしょうか。

上記で見てきたステップは、言い換えると「ネットワーク構造を固定し、内部のパラメータを学習によって決定する」ということです。ネットワーク構造を最適化して、そのあとパラメータを学習するNeural Architecture Search (NAS)と呼ばれる研究もあります。しかし、こちらもパラメータを学習によって最適化しています。

 

しかし、本当にパラメータの学習は必要なのでしょうか。パラメータを学習させるよりも、もしかしてネットワーク構造の方が大切なのではないでしょうか?論文では、パラメータを学習させずに、ネットワーク構造を変化させるだけでタスクを解くことを提案しています。

実験の結果、パラメータを一切学習させずに、ネットワーク構造を変化させるだけである程度、タスクが解けるということが示されました。

ネットワーク構造の探索

では、どのようにネットワーク構造の探索を行うのか、このセクションで詳しく見ていきます。ここで重要なのは「ネットワーク構造を変化させるだけでタスクを解くことができるようにする」ということです。

つまり、精度がパラメータに依存しないようにする必要があります。そこで、以下の手順でネットワーク構造の探索を行いました。以下、図1は探索の手順を示したものです。

図1. ネットワーク構造の探索手順

1:基本となる複数の小さなネットワークを用意する。
2:それぞれのネットワークに統一的なパラメータを設定し、タスクに適用する。
3:ネットワークを精度と複雑度によって評価する。
4:最も高い評価のネットワークに変化を加える。

ステップ24を繰り返して、ネットワーク構造の最適化を図ります。それぞれのステップをより詳しく見ていきましょう。

続きを読むには

(4533文字画像6枚)

AI-SCHOLARに
登録いただく必要があります。

1分で無料で簡単登録する

または
なかじめ avatar
セキュリティ分野に関するAIなどに興味を持っています。

記事の内容等について改善箇所などございましたら、
お問い合わせフォームよりAI-SCHOLAR編集部の方にご連絡を頂けますと幸いです。
どうぞよろしくお願いします。

お問い合わせする