神経科学に触発された人工知能

少し前ですが2017年に、Neuroscience-Inspired Artificial Intelligence”(神経科学にインスパイアされた人工知能)という論文が発表されています。この論文は、神経科学が人工知能に与えた影響をまとめたリサーチ論文で、第一著者はDeepMindの創設者で知られるDemis Hassabisです。彼らは、生物学的な脳をよりよく理解することが、インテリジェントな機械を構築する上で重要な役割を果たすと主張し、人間や他の動物における神経計算の研究に触発されたAIの現在の進歩を強調しています。

神経科学の知見はAIの可能性を広げる

コンピューター黎明期時代、AIの研究は神経科学と心理学と密接に絡み合っていて、初期の先駆者の多くは両方の分野にまたがっていました。(50年〜80年代)  

しかし現代のAI文脈を読むと、神経科学との初期の関わりは減ってきたという印象を受けます。アルゴリズムは一般人の理解を優に超えるほど複雑になり、その多くは決して現実の脳の計算原理を反映しているとは言えません。また、両方の科目が非常に複雑になり、学問分野の境界が固まってしまったため、異なる分野の対話も希薄になってきました。

少し前ですが2017年に、これらの疑問に、真正面から取り組んだ論文”Neuroscience-Inspired Artificial Intelligence”(神経科学にインスパイアされた人工知能)が発表されました。この論文は、神経科学が人工知能に与えた影響をまとめたリサーチ論文です。生物学的脳をよりよく理解することが、インテリジェントな機械を構築する上で重要な役割を果たす可能性があると主張されており、人間や他の動物における神経計算の研究に触発されたAIの現在の進歩を強調しています。

第一著者は、DeepMindの創設者、Demis Hassabisです。彼はAlpha Goをはじめとする革新的な人工知能の研究に従事する世界的な人工知能学者ですが、実は、記憶や想像をつかさどる脳領域である海馬の研究で博士号を持っている、一流の脳科学者でもあります。

デビットマーの有名な3つの分析レベル

もちろん、AIシステムを構築するという実用的な観点からは、生物学的妥当性を厳守する必要はありません。エンジニアリングの観点からは、最終的にうまくいくことが大事なのです。

むしろDemisたちが興味を持っているのは、脳(すなわち、計算論理、アルゴリズム、機能と表現)の理解です。これは、デイビット・マーの有名な3つの分析レベルのうち、複雑な生物学的システムを理解するために必要であると分析した上位2つのレベルにほぼ相当します。(※脳を理解するためには3つのレベルが必要で、そのひとつが「計算理論」  次が「アルゴリズム 」そして、最後に 「ハードウェアによる実現 」なんだ!と述べた人だったりします。)

しかし、3つ目の物理的に実現される正確なメカニズムは、AIの文脈ではあまり重要ではないとし、Blue Brain Projectなどの脳の再現を目指すプロジェクとは別物であるとDemisたちは語ります。

彼らはあくまでも、計算理論とアルゴリズムに焦点を当てることで、インテリジェントなマシンを構築する際に生じる特有の課題に対処する余地を残しながら、脳機能の一般的なメカニズムに関する譲渡可能な洞察を得ます。

まず論文内では、現在のAI研究にとって重要な2つの分野、ディープラーニングと強化学習の起源を検討することから始めます。どちらも神経科学からのアイデアに根付いたものです。

🔳ディープラーニング

例えば、最近のいくつかのレビューで詳述されているように、AIは、ニューラルネットワーク、または「ディープラーニング」方法の劇的な進歩によって過去数年にわたって革命を起こしましたが、「ニューラルネットワーク」という名の通り、これらのAI手法の起源は直接神経科学にあります。1940年代、ニューラル計算の研究は論理関数を計算することができる人工ニューラルネットワークの構築から始まりました。

その後間もなく、他の人たちが監視フィードバックを介してニューロンのネットワークが徐々に学習するメカニズムを提案しました。これらのメカニズムは人工ニューラルネットワーク研究の分野を切り開き、深層学習に関する現代の研究の基盤担になってます。

🔳強化学習

ディープラーニングと並んで、神経科学は強化学習(RL)の分野の出現も刺激しました。RL法は、環境内の状態を行動にマッピングすることによって将来の報酬を最大化する方法の問題に対処するものであり、AI研究で最も広く使用されているツールの1つです。AI研究者の間で広く認識されていませんが、RLの方法はもともと動物の学習の研究によって触発されました。

特に、多くのRLモデルの重要な要素である時間差(TD)法の開発は、コンディショニング実験における動物行動の研究と密接に絡み合っていました。TD法は、実際の報酬が得られるまで待つ必要はなく、時間的に連続した予測間の違いから学ぶリアルタイムモデルです。特に重要なのは二次条件付けと呼ばれる効果であり、ここで感情的有意性は直接無条件刺激との関連を介してではなく別のCSとの関連を介して条件付き刺激(CS)に与えられます。

以下では、最近のAIが神経科学的影響を受けている多くの事例を発見することができます。論文ではまず、神経科学の知見が比較的最近の人工知能の発展に活かされた例を4つに分けて紹介しています。

Attention(注意)
Episodic Memory(エピソード記憶)
Working Memory(ワーキングメモリー)
Continual Learning(継続学習)
それぞれ、要約して紹介していきたいと思います。

Attention(注意)

脳はモジュール構造です。視覚をつかさどる領域、運動をつかさどる領域、感情をつかさどる領域などが機能ごとに分かれて存在しており、互いにコミュニケーションを取りながら、認知や行動といった高度な働きを可能にしています。決して、一個のニューラルネットみたいなものがどんっとあるわけではありません。

わかりやすい例が以下の画像です。

この瞬間みなさんの脳の情報処理の大部分は持っていかれました。これを見ている目には上記の画像情報がオンラインで入力されていますが、上の写真を見た瞬間、みなさんの脳は情報処理パワーの大部分を、視界の中のごく一部分であるこの画像に割いてるのです。

このように、脳は全ての入力情報を平等には扱いません。人間には欲しい情報だけを「選別」することで入ってくる雑音を減らし、求める音声や映像だけに反応性を上げる能力があるのです。このような脳の処理の仕組みを、Attention(注意)と呼びます。

一つの実例は最近注目されているCNN (Convolutional Neural Network)です。ごく最近まで、処理の初期段階ではすべての画像ピクセルに同じ優先順位が与えられており、ほとんどのCNNモデルは画像全体またはビデオフレームを直接処理していました。

そこで、Recurrent Models of Visual Attention 2014は、人間の脳と目の仕組みを取り入れ、ステップごとに入力画像の一部を取り出し、ネットワーク内の表象を更新し、次の場所のサンプリングする、というネットワークを作りました。

こうしたアルゴリズムは、単純なCNNよりもより高い物体認識のスコアを出すだけでなく、効率的な計算によって計算コストも大幅に削減できることがわかりました。余計な物体や画像のノイズを捨て、大切な情報をキャッチアップした結果、よいパフォーマンスが出せるようになったのです。

Episodic Memory(エピソード記憶)

エピソード記憶とは、人間の記憶の一つで、「個人が経験した出来事に関する記憶」です。出来事の内容 に加えて、出来事を経験したときの様々な付随情報(周囲の環境すなわち時間・場所・空間的文脈、あるいはそのときの自己の身体的状態、感情など)と共に記憶されています。

脳の観点から見るとにエピソード記憶は特別で、この記憶はたった一度の出来事、経験で、前後の文脈を踏まえた形で一瞬で定着します。例えば以下のような経験です。

このような事が怒ると、なかなか忘れられないですね。これがエピソード記憶です。

漢字や英単語などは何度やっても忘れるにも関わらず、こうした強烈な経験が一発で脳に刻まれるのは、同じ「記憶」といえど異なった脳の神経回路が使われているからです。 このエピソード記憶により、人間は、新しい状況を目の前にしたときでも、過去の似た状況から、次の行動の手掛かりにすることが可能です。

このように神経科学における標準的なテーマは、知的行動は複数の記憶システムに依存しているということです。これらには、刺激や行動の価値を段階的に繰り返し経験を通して学ぶことを可能にする強化ベースのメカニズムだけでなく、経験を急速に(「ワンショット」で)エンコードすることを可能にするインスタンスベースのメカニズムも含まれます。エピソード記憶として知られている後者の形態の記憶(2002年チューリング)は、海馬を含む顕著な内側側頭葉の回路と関連していることが最も多いです

AIにおける最近の画期的な進歩の1つは、深層学習(Deep Learning) + 強化学習(Reinforcement Learning)という組み合わせが成功したことでしょう。(Deep Q-Network)

DQN (Deep Q-Network)  はDeepMind発のブレイクスルーを起こした人工知能でですが、このDQN も、エピソード記憶が有効に取り組まれた例の一つです。
Atari 2600 video gamesというインベーダーなどの古典的なビデオゲームに置いて人間を越えるパフォーマンスを出したことは記憶に新しいですが、そのパフォーマンスの1つのカギは、”experience-replay”という、ネットワークがトレーニングデータの一部を保管し、繰り返し再生することで、過去の成功と失敗を学びなおす仕組みにあります。

具体的には、トレーニングの中で経験してきた「場面 」と、その場面で可能な「行動」を取った時に対応する最大の報酬値 (Q-value)を、記憶としてDQNにインプットさせます。すると新しい場面に直面した時でも、過去の近い「場面」 で可能な行動の選択肢を計算し、最も利益の大きいと思われる行動を選択します。この仕組みにより、人工知能はデータをより効率的に使い、学習することができます。

またディープラーニングは学習が遅いという課題がありましたが、エピソードコントロールを実装するアーキテクチャを開発し、ディープRLネットワークの遅い学習特性を克服したというModel-Free Episodic Control 2016 もあります。このようにエピソード記憶的なシステムは、少ないサンプルから新しい概念を学習できる可能性があります。

Working Memory(ワーキングメモリー)

ワーキングメモリーは1分持たない短い記憶です。

多くの事柄はワーキングメモリーに一時的に保管された後、忘れられていきます。こちらは脳の前頭葉 (Prefrontal Cortex)で処理されているようです。

ワーキングメモリーと人工知能の関係で最もよい例は、LSTM (Long-Short-Term Memory) でしょう。
これらワーキングメモリーは、長期短期記憶(LSTM)ネットワークにおいて密接な類似性が見られ、LSTMは短期記憶を長期に渡って活用することを可能にし、次に適切なアウトプットが必要になるまで保持しておく機能があります。最近では人間の脳をまねて、DNC (Differential Neural Computer)のように、この2つを別のモジュールとして分離する動き Hybrid computing using a neural network with dynamic external memory  もあるようです。

Continual Learning(継続学習)

人は、基本的には一度覚えたことは、後で別のことを覚えたとしても、忘れることはありません。

神経細胞同士が互いに接近し、情報を介する場のことをシナプスと呼びますが、その構造の一部であるスパインには記憶の神秘が詰まっています。学習によって記憶が生まれると、使用された神経回路のスパインが大きくなりますが、これは、シナプスを介して神経細胞同士の結びつきが強くなった証拠です。実際、このスパインを実験的に「消して」やると、今までこなせていた動作がこなせなくなります 。

人間をはじめとする知的エージェントは、複数のタイムスケールで遭遇するさまざまなタスクを学び、記憶することができなければなりません。したがって、以前のタスクを実行する方法を忘れずに新しいタスクを習得する能力を持っている必要があります。

ディープニューラルネットワークでは、大量のデータが一度に入力される場合にのみタスクを処理できるように設計されており、ネットワークが特定のタスクを処理するときに、各種パラメーターは、そのタスクのために最適化されます。このため、新しいタスクが導入されると、ニューラルネットワークがそれまでに獲得した知識は上書きされるという特徴があり、これは「catastrophic forgetting(破滅的忘却、致命的な忘却)」と呼ばれ、ニューラルネットワークの限界の一つと考えられてました。

一方で、人間は上記で記述したように、脳は段階的に学び、スキルを一つずつ身につけ、新しい課題の解決のためにそれまでの知識を応用することができるという特長があります。このような「過去のスキルを記憶して新しい課題の解決に応用できる」という人間が持つ学習の特長からインスピレーションを得たDeepMindが発表したのが、EWC (Elastic Weight Consolidation) という方法です。

ニューラルネットにはたくさんのパラメーターがありますが、新しいタスクを学んでいるとき、以前のタスクで役割の大きかったユニットのウェイトを優先的に、あまり変化させないようにしてやります。そうすることでネットワークの複雑性を上げることなく、似たようなタスクであれば以前学習したときのパラメーターをある程度再利用することで、効率的な学習を可能にしています。

まとめ

神経科学によって明らかになる脳の仕組みは、人工知能の発展に大きく寄与することが、神経科学によってインスパイアされた実装例や、人工知能の課題を通して示されてきました。

論文の後半では、人間の脳だと難なくできるけれども、人工知能にとってはまだまだ難しい問題についてまとめられています。ここでは全部紹介しきれないので、また次回に後半を紹介していきたいと思います。