真のAI実現には人間の知性を理解する事が必要？神経科学にインスパイアされた機械学習を例にして

論文 2019年01月22日

2017年に、神経科学が人工知能に与えた影響をまとめたリサーチ論文が発表されています。神経科学の知見が比較的最近の人工知能の発展に活かされた事例を、Attention（注意）、Episodic Memory（エピソード記憶）、Working Memory（ワーキングメモリー）、Continual Learning（継続学習）の４つに分けて紹介しており、最近の人工知能が神経科学的影響を受けている多くの事例を発見することができます。

論文：Neuroscience-Inspired Artificial Intelligence”（神経科学にインスパイアされた人工知能）

神経科学の知見はAIの可能性を広げる？

コンピューター黎明期時代、AIの研究は神経科学と心理学と密接に絡み合っていて、初期の先駆者の多くは両方の分野にまたがっていました。(50年〜80年代)　　

しかし現代のAI文脈を読むと、神経科学との初期の関わりは減ってきたという印象を受けます。アルゴリズムは一般人の理解を優に超えるほど複雑になり、その多くは決して現実の脳の計算原理を反映しているとは言えません。また、両方の科目が非常に複雑になり、学問分野の境界が固まってしまったため、異なる分野の対話も希薄になってきました。

2017年に、これらの疑問に、真正面から取り組んだ論文”Neuroscience-Inspired Artificial Intelligence”（神経科学にインスパイアされた人工知能）が発表されています。この論文は、神経科学が人工知能に与えた影響をまとめたリサーチ論文です。生物学的脳をよりよく理解することが、インテリジェントな機械を構築する上で重要な役割を果たす可能性があると主張されており、人間や他の動物における神経計算の研究に触発されたAIの現在の進歩を強調しています。

第一著者は、DeepMindの創設者、Demis Hassabisです。Alpha Goをはじめとする革新的な人工知能の研究に従事する世界的な人工知能学者で知られていますが、実は、一流の脳科学者でもあります。

論文内では、現在のAI研究にとって重要な2つの分野、ディープラーニングと強化学習の起源を検討することから始められています。どちらも神経科学からのアイデアに根付いたものです。

?ディープラーニング

例えば、最近のいくつかのレビューで詳述されているように、AIは、ニューラルネットワーク、または「ディープラーニング」方法の劇的な進歩によって過去数年にわたって革命を起こしましたが、「ニューラルネットワーク」という名の通り、これらのAI手法の起源は直接神経科学にあります。1940年代、ニューラル計算の研究は論理関数を計算することができる人工ニューラルネットワークの構築から始まりました。

その後間もなく、他の人たちが監視フィードバックを介してニューロンのネットワークが徐々に学習するメカニズムを提案しました。これらのメカニズムは人工ニューラルネットワーク研究の分野を切り開き、深層学習に関する現代の研究の基盤担になってます。

?強化学習

ディープラーニングと並んで、神経科学は強化学習（RL）の分野の出現も刺激しました。RL法は、環境内の状態を行動にマッピングすることによって将来の報酬を最大化する方法の問題に対処するものであり、AI研究で最も広く使用されているツールの1つです。AI研究者の間で広く認識されていませんが、RLの方法はもともと動物の学習の研究によって触発されました。

特に、多くのRLモデルの重要な要素である時間差（TD）法の開発は、コンディショニング実験における動物行動の研究と密接に絡み合っていました。TD法は、実際の報酬が得られるまで待つ必要はなく、時間的に連続した予測間の違いから学ぶリアルタイムモデルです。特に重要なのは二次条件付けと呼ばれる効果であり、ここで感情的有意性は直接無条件刺激との関連を介してではなく別のCSとの関連を介して条件付き刺激（CS）に与えられます。

以下では、最近のAIが神経科学的影響を受けている多くの事例を発見することができます。論文では、神経科学の知見が比較的最近の人工知能の発展に活かされた例を大きく4つに分けて紹介しています。

Attention（注意）
Episodic Memory（エピソード記憶）
Working Memory（ワーキングメモリー）
Continual Learning（継続学習）
それぞれ、要約して簡単に紹介していきたいと思います。

Attention（注意）

脳はモジュール構造です。視覚をつかさどる領域、運動をつかさどる領域、感情をつかさどる領域などが機能ごとに分かれて存在しており、互いにコミュニケーションを取りながら、認知や行動といった高度な働きを可能にしています。決して、一個のニューラルネットみたいなものがどんっとあるわけではありません。

例えば、居酒屋などの騒がしいところでラジオを聞きたいと思うとき、大脳皮質の感覚野では、耳や目から入ってくる雑多な感覚情報の中から欲しい情報だけに“注意”することで雑音（ノイズ）を減らし、ラジオの音声だけに反応性を上げることができます。

このように、脳は全ての入力情報を平等には扱いません。注意から、場所とオブジェクトの間で戦略をシフトすることで、求める音声や映像だけに反応性を上げる能力があります。このような脳の処理の仕組みを、Attention（注意）と呼びます。

一つの実例は最近注目されているCNN (Convolutional Neural Network)です。ごく最近まで、処理の初期段階ではすべての画像ピクセルに同じ優先順位が与えられており、ほとんどのCNNモデルは画像全体またはビデオフレームを直接処理していました。

そこで、Recurrent Models of Visual Attention 2014は、人間の脳と目の仕組みを取り入れ、ステップごとに入力画像の一部を取り出し、ネットワーク内の表象を更新し、次の場所のサンプリングする、というネットワークを作りました。

こうしたアルゴリズムは、効率的な計算によって計算コストが大幅に削減でき、余計な物体や画像のノイズを捨て大切な情報をキャッチアップした結果、よいパフォーマンスも出せるようになりました。

注意メカニズムが有用であることが証明されているAIのもう一つの分野として、生成モデルがあります。Hong et al。、2015 、Reed et al。、2016）は、注意メカニズムを組み込むことにより、実際の視覚シーンの形と構造をとらえる合成出力を生成することにおいて驚くべき成功を示しました。

Episodic Memory（エピソード記憶）

エピソード記憶とは、人間の記憶の一つで、「個人が経験した出来事に関する記憶」です。出来事の内容に加えて、出来事を経験したときの様々な付随情報（周囲の環境すなわち時間・場所・空間的文脈、あるいはそのときの自己の身体的状態、感情など）と共に記憶されています。

脳の観点から見るとにエピソード記憶は特別で、この記憶はたった一度の出来事、経験で、前後の文脈を踏まえた形で一瞬で定着します。例えば、特別なできことや経験はなかなか忘れられなかったりしますよね。これがエピソード記憶です。

漢字や英単語などは何度やっても忘れるにも関わらず、こうした強烈な経験が一発で脳に刻まれるのは、同じ「記憶」といえど異なった脳の神経回路が使われているからです。　このエピソード記憶により、人間は、新しい状況を目の前にしたときでも、過去の似た状況から、次の行動の手掛かりにすることが可能です。

このように、神経科学における標準的なテーマは、知的行動は複数の記憶システムに依存しているということです。これらには、刺激や行動の価値を段階的に繰り返し経験を通して学ぶことを可能にする強化ベースのメカニズムだけでなく、経験を急速に（「ワンショット」で）エンコードすることを可能にするインスタンスベースのメカニズムも含まれます。エピソード記憶として知られている形態の記憶は、海馬を含む顕著な内側側頭葉の回路と関連していることが最も多いです。

AIにおける最近の画期的な進歩の1つは、深層学習（Deep Learning） + 強化学習（Reinforcement Learning）という組み合わせが成功したことでしょう。(Deep Q-Network)

DQN (Deep Q-Network) はDeepMind発のブレイクスルーを起こした人工知能でですが、このDQN も、エピソード記憶が有効に取り組まれた例の一つです。
Atari 2600 video gamesというインベーダーなどの古典的なビデオゲームに置いて人間を越えるパフォーマンスを出したことは記憶に新しいですが、そのパフォーマンスの1つのカギは、”experience-replay”という、ネットワークがトレーニングデータの一部を保管し、繰り返し再生することで、過去の成功と失敗を学びなおす仕組みにあります。experience-replayはデータ効率を最大化し、連続した相関する経験からの学習の不安定化効果を回避し、ビデオゲームのような複雑で高度に構造化されたシーケンシャル環境でも実行可能な価値関数を学習することを可能にします。

またディープラーニングは学習が遅いという課題がありましたが、エピソードコントロールを実装するアーキテクチャを開発し、ディープRLネットワークの遅い学習特性を克服したというModel-Free Episodic Control 2016 もあります。このようにエピソード記憶的なシステムは、少ないサンプルから新しい概念を学習できる可能性があります。

Working Memory（ワーキングメモリー）

ワーキングメモリーは1分持たない短い記憶です。多くの事柄はワーキングメモリーに一時的に保管された後、忘れられていきます。こちらは脳の前頭葉 (Prefrontal Cortex)で処理されているようです。

AIの研究は、時間の経過とともに明示的に情報を維持するアークテクチャを構築することに注力してきました。このような努力は、連続的な振る舞いを表示するRNNの導入から始まりました。

特にこれらワーキングメモリーは、LSTMネットワークにおいて密接な類似性が見られます。LSTMは短期記憶を長期に渡って活用することを可能にし、次に適切なアウトプットが必要になるまで保持しておく機能があります。最近では人間の脳をまねて、DNC (Differential Neural Computer)のように、この2つを別のモジュールとして分離する動き Hybrid computing using a neural network with dynamic external memory などもあります。

Continual Learning（継続学習）

人は、一度覚えたことは、後で別のことを覚えたとしても、忘れることは基本的にありません。

人間をはじめとする知的エージェントは、複数のタイムスケールで遭遇するさまざまなタスクを学び、記憶することができなければなりません。したがって、以前のタスクを実行する方法を忘れずに新しいタスクを習得する能力を持っている必要があります。

ディープニューラルネットワークでは、大量のデータが一度に入力される場合にのみタスクを処理できるように設計されており、ネットワークが特定のタスクを処理するときに、各種パラメーターは、そのタスクのために最適化されます。このため、新しいタスクが導入されると、ニューラルネットワークがそれまでに獲得した知識は上書きされるという特徴があり、これは「catastrophic forgetting(破滅的忘却、致命的な忘却)」と呼ばれ、ニューラルネットワークの限界の一つと考えられてました。

一方で、人間は上記で記述したように、脳は段階的に学び、スキルを一つずつ身につけ、新しい課題の解決のためにそれまでの知識を応用することができるという特長があります。このような「過去のスキルを記憶して新しい課題の解決に応用できる」という人間が持つ学習の特長からインスピレーションを得たDeepMindが発表したのが、EWC (Elastic Weight Consolidation) という方法です。

ニューラルネットにはたくさんのパラメーターがありますが、新しいタスクを学んでいるとき、以前のタスクにおいて重要であると判断されたユニットのウェイトを優先的に、あまり変化させないようにしてやります。そうすることでネットワークの複雑性を上げることなく、似たようなタスクであれば以前学習したときのパラメーターをある程度再利用することで、効率的な学習を可能にしています。