昆虫の嗅覚学習モデルが登場。類似性探索の精度が飛躍的に向上

AI・人工知能という言葉をよく聞くようになった昨今、既知の制約のあるタスク、例えばチェスや囲碁のプレイ、画像内に車があるかどうかの検出、描写の差別化にはAIが効果を発揮しますが、その一方で、多くの計算能力と膨大な量のトレーニングデータを必要とする傾向があります。

これらの限界を克服するために、日々新しい研究が行われていますが、今回は「嗅覚回路を模倣する」といった手法をご紹介致します。

本日扱う原文はこちら。

目次
(1)新しいAI戦略は脳がどのような匂を覚えるかを模倣する
(2) 視覚システムを模倣したネットワークシステム
(3)ランダムネットワークとスパースネットワーク
(4) 限られたデータで機械学習制度を予測する
(5) ハエ臭覚回路に基づくアルゴリズムを開発
(6)次世代ニューラルネットについて考える事の入り口

 

新しいAIは脳がどのように匂いを覚えるかを模倣する

ニューロンと神経系の接続に広く触発された人工ニューラルネットワークを含む今日の人工知能システムは、既知の制約のあるタスクでは素晴らしく機能します。これらのシステムはチェスや囲碁のプレイ、画像内に車があるかどうかの検出、猫と犬の描写の差別化に役立ちますが、その一方で、多くの計算能力と膨大な量のトレーニングデータを必要とする傾向があります。

これらの限界を克服するために、日々新しい研究が行われていますが、しかしその中には、ありそうもない出発点のように見えるものもあります。

例えばその一つが「嗅覚」です。有機体がどのように化学情報を処理するのかをよりよく理解しようとする科学者たちは、AIの問題に特に関連があると思われるある規則を発見しました。嗅覚回路は、より良いアルゴリズムを作るという探求において興味を持たれており、より複雑な脳領域との顕著な類似点を持っています。

嗅覚より現時点でメジャーな手法は視覚システムを模倣したネットワーク

今日使用されている最先端の機械学習技術は、少なくとも部分的には、情報の階層的抽出に基づいている視覚システムの構造を模倣し構築されています。視覚皮質が感覚データを受け取るとき、それは最初に小さい、明確に定義された特徴(空間マッピングを含むエッジ、テクスチャ、色)を選び出します。視覚情報が皮質ニューロンの層を通過するにつれて、エッジやテクスチャ、色に関する詳細がまとまって入力の抽象的表現が形成されます。神経科学者のDavid Hubel氏とTorsten Wiesel氏は、1950年代から60年代にかけて、視覚系の特定のニューロンが網膜の特定のピクセル位置に相当することを発見し、ノーベル賞を受賞しました。

ディープニューラルネットワークは、同様に階層的な方法で機能するように構築され、機械学習とAI研究に革命をもたらしました。画像分類だけでなく、音声認識、言語翻訳、その他の機械学習アプリケーションにおいても、これらのネットワークで大きな成功を収めています。

嗅覚システムではランダムネットワークとスパースネットワークを活用

嗅覚は多くの面で視覚とは異なります。匂いは構造化されていません。エッジを持っていません。それらは空間でグループ化できるオブジェクトではありません。それらは様々な組成と濃度の混合物であり、そしてそれらは互いに類似しているか異なるように分類することは困難です。したがって、どの機能が注目されるべきかは必ずしも明らかではありません。

臭覚は、視覚的な皮質ほど複雑ではない3層のネットワークによって分析されます。嗅覚領域のニューロンは、階層内の特定の領域ではなく、受容体空間全体をランダムにサンプリングします。

Salk Instituteの神経生物学者、Charles Stevens氏は「アンチマップ」と呼ぶものを採用しています。視覚皮質のようなマッピングされたシステムでは、ニューロンの位置はそれが運ぶ情報の種類が何かを明らかにします。しかし、嗅覚皮質のアンチマップでは、そうではありません。代わりに、情報はシステム全体に分散されており、そのデータを読み取るには、最小数のニューロンからサンプリングする必要があります。アンチマップは、高次元空間における情報のスパース表現 (データを表現するための辞書を用意し、その要素のできるだけ少ない組み合わせでデータを表現すること)によって実現されています。

例えばショウジョウバエの嗅覚回路は、50個の投射ニューロンが、それぞれ異なる分子に敏感な受容体からの入力を受け取ります。単一の匂いは多くの異なるニューロンを興奮させ、そして各ニューロンは様々な匂いを表します。

この時点で50次元空間で表現されているのは、重複した表現の情報があり、まだカオス状態です。その情報をまず、特定の香りをコード化する2,000個のいわゆるKenyonセルにランダムに投影します。(哺乳類では、梨状皮質として知られているものの細胞がこれに該当する)それを次元の40倍に拡大し、香りに対する神経反応のパターンによって匂いを区別します。

その関係に興味をそそられて、Nowotny氏らは嗅覚と機械学習の間のインターフェースを探求し続けていて、両者間のより深い共通点を探しています。

2009年に、彼らは当初は匂いを認識するために作成された昆虫に基づく嗅覚モデルも手書き数字を認識できることを示しました。
さらに、その大部分のニューロンを除去しても、その性能にあまり影響を与えませんでした。
Nowotny氏は「システムの一部は機能しなくなる可能性がありますが、システム全体としては機能し続けるでしょう」と述べ、そのようなハードウェアを火星探査車のようなものに実装されると予測しています。

限られたデータで機械学習精度を改善する

Delahunt氏と彼の同僚たちは、蛾の嗅覚系を基盤としてそれを伝統的な機械学習モデルと比較しながら、Nowotnyが行ったのと同じ種類の実験を繰り返しました。サンプル数が20未満の場合、蛾をベースにしたモデルは手書きの数字をよりよく認識しましたが、より多くのトレーニングデータを提供すると、他のモデルの方がはるかに正確になりました。
「機械学習法は大量のデータに対して非常に正確な分類器を提供するのに優れていますが、臭覚モデルは大まかな分類を非常に迅速に行うのに非常に優れています」とDelahunt氏は述べています。

また、中国のサザン医科大学の生物学者Fei Pengは、次のように述べています。

「嗅覚戦略は、私たちと同じように、基本的で原始的な概念をモデルに焼き付けるのとほとんど同じです。構造自体は、指示なしでいくつかの単純な、先天的なタスクが可能である。」

ハエ嗅覚回路に基づくアルゴリズムを開発

これの最も顕著な例の 1つは昨年Navlakhaの研究室で行われました。   論文の共著者であるSaket Navlakha氏は 、類似性に基づいて検索を実行するための嗅覚にヒントを得た方法を見つけようと考え、ハエが見せたこの「拡張アルゴリズム」を3つのデータセットに適用。同一環境下で比較し、ハエの一種であるミバエのアルゴリズムを組み込んで行う類似性探索の方が30%~50%正確な結果をもたらすことを発見しました。

Salk Instituteのコンピューター科学者であるSaket Navlakhaは、類似検索および新規性検出作業のための機械学習技術の向上を期待して、ハエ嗅覚回路に基づくアルゴリズムを開発しました。

たとえば、特定のアーティストaに関する動画をYouTubeでたくさん見ていると、関連動画には似ているアーティストbのものが出てくるようになります。これは、それぞれの動画について、アーティストは誰か、音楽のジャンルは何か、BPMはどれぐらいか、どういった楽器が利用されているか、などの情報からある程度属性を絞り込んで「ハッシュ」と呼ばれるタグ付けが行われていています。ハッシュの比較により関連性の高いものが表示されています。こうした仕組みを「類似性探索」と呼びます。

ミバエも匂いに関して「類似性探索」を行っていて、果実aの匂いをかいで、それが食べ物であったと理解すると、似たような匂いの果実bも食べ物であると理解します。ただ、ミバエが初めての匂いに出会うと、最初は50のニューロンが発火(活動電位に到達)するのですが、続いて、情報を要約するのではなく、脳内の2000のニューロンへと情報を拡散させ、Aの匂いとBの匂いとの類似点を識別します。その後、ニューロンのうちトップ5%の情報を「ハッシュ」として格納するのだそうです。

インターネット上に似ている画像はないか、あるいはデータベース上に同じような文章はないかを調べる類似性探索は、大規模情報検索システムが直面する基本的な計算問題です。

計算生物学者のクリスティン・ブランソン氏は、コンピューター・アルゴリズムに影響を及ぼす新たな洞察が神経科学の面から行われていることを評価しました。

次世代ニューラルネットについて考えることへの入り口

研究者が可能性を感じていることは、嗅覚系の構造が多くの種にわたって脳の他の領域、特に記憶とナビゲーションに関係している海馬、そして運動制御を担っている小脳と強く似ていることです。嗅覚は、細菌の化学増感作用にまでさかのぼる古代のシステムであり、それらの環境を探索するためにすべての生物によって何らかの形で使用されています。

嗅覚回路は、海馬や小脳で使用されるより複雑な学習アルゴリズムや計算を理解するためのゲートウェイとして機能し、そのような洞察をAIに適用する方法を考え出すことができます。

現在、すでに研究者たちは、現在の機械学習のアーキテクチャやメカニズムを改善する方法を提供するかもしれないことを期待して、さまざまな形態の認知プロセスに目を向け始めています。