GANを使って猿の脳を活性化させる画像を生成する方法

【論文】Evolving Images for Visual Neurons Using a Deep Generative Network Reveals Coding Principles and Neuronal Preferences

感覚神経科学の目的は、どの刺激がどの脳細胞を活性化するかを正確に理解することです。霊長類の視覚システムでは、視覚皮質、下側頭皮質(2つの重要な視覚領域)などの特定のニューロンが、色、特定の運動方向、曲線、さらには顔などの特定の刺激に優先的に反応することが知られています。

しかしながら、このアプローチは、全ての可能な画像を提示することができないという事実によって制限されており(量が多すぎるため)、特定のニューロンを最大に活性化する視覚刺激を正確に特定することは依然として難しいままでした。

この論文では、あらかじめ選択された画像を使用して結果を偏らせることなくニューロンの視覚的な好みを研究する方法が提案されています。

ここでは、事前に訓練されたGANと、ニューロンの反応に基づいてGANが生成した画像の進化(合成)を可能にする「遺伝的アルゴリズム」との組み合わせを使用し、細胞がコード化する捉えどころのない「真の画像」を見つけることに取り組んでいます。

最もニューロンを刺激するための画像を生成する

視覚ニューロンの活動を記録するために、微小電極アレイを6匹のサルの下側頭皮質(耳のわずかに上と下の領域)に埋みます。

ImageNetデータベースからの100万を超える画像について訓練されたGANによって生成された40のランダムな画像(人、場所、単純な線画の自然なイメージまで含まれる)を猿に見せて、ニューロンのグループにおいて最も活動を誘発したTop10の画像を識別します。

これらの選ばれた画像を遺伝的アルゴリズムに通して(ピクセルを再結合することによって)30枚の同様の画像を作成し、この画像を元のトップ10の画像とともにサルに見せます(下図1参照)。サルがもはや画像を見なくなるまで、このサイクルを1〜3時間かけて最大250回繰り返します。

図1サルの視覚ニューロンを刺激するための最適な画像の進化を示しています

最初は、イメージはノイズのように見えましたが、徐々に動物の部屋のフードホッパーや外科用スクラブを身に着けている人々のように、顔や動物や環境として認識できる形に変わったといいます。

この進化の過程から生まれたイメージは、オブジェクト、形、そして色の組み合わせでした。これらのいくつかの画像は、サル、あるいは動物、人の顔に部分的に似ていました。

これらの画像が進化するにつれて、よりニューロンは強く刺激され、最終的に生成された画像は、元の画像(ニューロンを刺激した自然の画像)よりも2倍、3倍も優れていることが分かりました。つまり、作成した画像を使用して実際の神経系の活動をうまく操作できるということです。

 

人間脳と猿の脳は類似しているという点で 人間の脳の状態を操作するために使用できるかもしれません。

研究チームは現在、感情的な処理を伴う、扁桃体に栄養素を供給する皮質下の層にアプローチするモデルの拡張を調査しているそう。この画像を見せることによる制御は、遠い未来、うつ病などの気分障害の治療に役立つかもしれないですね。

例えば、感情を体験したり、さまざまな種類の感情を引き起こしたりすることができるモデルを作ることができれば、このモデルを使用してニューロンを制御したり、気分のムラなどを軽減することができます。

 

この記事をシェアする