分子と音楽の相互変換による新しい音楽生成の可能性

論文 2022年06月03日

3つの要点
✔️ 分子と音楽の相互変換の手法の提案
✔️ 似た分子が似た音楽になる事を示した
✔️ 新しい音楽生成の可能性

Molecular Sonification for Molecule to Music Information Transfer
written by Babak Mahjour, Jordan Bench, Rui Zhang, Jared Frazier, TIMOTHY CERNAK
(Submitted on 24 Mar 2022)

本記事で使用している画像は論文中のもの、紹介スライドのもの、またはそれを参考に作成したものを使用しております。

はじめに

分子構造をエンコードする最も確立された方法は線画ですが、グラフ、文字列、ワンホットエンコード、またはフィンガープリントに基づく表現等も、分子の計算研究にとって重要です。

本論文では、分子構造をエンコードするために使用出来る高次元の情報記憶媒体が音楽である事を示します。これにより、音楽生成に人工知能戦術を活用する分子生成アプローチが可能になります。

分子を音楽としてエンコード出来れば、視覚から音声への感覚置換が可能になります。例えば、盲目の化学者に分子を示す新しい方法を提供出来ます。現代の化学と創薬は人工知能（AI）を活用しており、音楽の研究にもAI手法が爆発的に増加しているため、化学機械学習（ML）技術と音楽機械学習技術を統合すれば新たな可能性が見つかるかもしれません。研究のきっかけは音楽を媒体として新しい分子を生成する方法を探る事でしたが、研究の過程で、分子が新しい音楽を生成するためのアイデアを提供出来る事が分かりました。

本研究では分子を音楽に、またはその逆に転送するためのワークフローを開発しました。これを、SAMPLES（Sonic Architecture for Molecule Production and Live-Input Encoding Software）と呼びます。

エンコード

分子構造に基づいたメロディーを作成するために、キーと音符の配列は、それぞれ物理化学的特性とそのSELFIESシーケンスから導出されます。キーを決定するために、logP、分子量、水素結合の供与体と受容体の数など、分子の物理化学的特性が合計され、最終的に1～12の整数に投影され、特定のキーに対応します。音符の配列は、分子のSELFIESトークンとメジャースケールのマルチオクターブステップの1対1マッピングから決定されます。

長音階の音符に対応するMIDIシフトにメロディーのMIDI値を追加する事により、最終的なメロディーが生成されます。音楽の質感を高めるために、4分音符毎にメジャーコードに変換しました。

デコード

MIDIは、キー毎に逆算され、分子構造に変換されます。そのため、同じMIDIシーケンスに対して複数の分子構造が生成されます（キー毎に1つ）。

次に、各分子構造は、元のエンコードアルゴリズムを使用してキーにハッシュされます。ハッシュされたキーが逆計算で使用されたキーと一致する場合、分子構造がデコードされます。少なくとも1つのデコードキーが、SAMPLESから生成されたMIDIと一致することが保証されます。

Case Studies

SAMPLESの有用性を示すために、4つのケーススタディを提示します。

例えば、リピンスキーの法則に合致した分子から生成された曲は、音楽の調に基づいて、法則に合わなかった分子の曲と聴覚的に区別出来ます。その理由は、分子の物理化学的特性が音楽の調にハッシュされたためです。医薬品データベースDrugBankハッシュからの物理化学的特性のフィンガープリントを音楽データベースSpotifyの最も人気のある曲のキーにハッシュします。

分子類似性の概念は、同等の機能特性を持つ分子を創薬のために選択する場合など、化合物設計には非常に重要です。

タニモト係数の高い分子から生成されたSAMPLESが類似しているように聞こえるかどうかを調べ、分子類似性と音楽的類似性の両方を定義するのは難しいと判断しました。

コデイン（10）とモルヒネ（11）のSAMPLESは互いに類似しているように聞こえます。同様にスルファメトキサゾール（12）とスルファドキシン（13）のSAMPLESは似て聞こえますが、10,11のペアとは異なって聞こえます。

2番目の実験では、音楽ドメインの変更による分子の生成を調べます。これは、有効な分子構造を生成しながら文字列の編集を可能にするSELFIESアプリケーションを通じて、SAMPLESで可能となりました。

モルヒネ（11）から始めて、楽譜を一度に1音ずつ変更して、モルヒネとの明確な関係を持ちながら、結合と原子の構造を著しく変更した新しい化学構造を生成出来ます。

SAMPLESは未定義のキラル中心を生成する可能性がある事に注意してください。

次のcase studyでは、SAMPLESで生成したMIDIメロディーを入力として、MusicVAEのメロディーミキシング機能を適用しました。MusicVAEを使用すると、2つのメロディー間の補間メロディーを生成出来ます。

その新しいメロディーをSAMPLESで分子構造に戻す事が出来るため、2つの分子の「ブレンド」である新しい分子を作成出来ます。この関数をCROSSFADEと呼びます。分子の構造または特性をブレンドする事によって新しい分子を生成するアルゴリズムは知られていますが、CROSSFADEによって提供される双方向性は興味深いものです。

例として、グルタミン酸（17）とアセチルコリン（18）をCROSSFADEして（19）が得られます。同様に、20～28の例を示します。

最後の実験として、32人の学生に対して調査を行いました。

単一の調査分子のSAMPLES曲が提示され、4つのテスト分子のSAMPLES曲を聴いて、最も類似した曲を選択するよう求めました。（4つのテスト分子のうち、1つは調査分子とのタニモト係数が高い）調査した4つのペアのうち3つについて、学生はSAMPLESの曲間の類似性に基づいて、タニモト係数が最も高い分子を選択しました。

ただし、モルヒネ（10）とコデイン（11）の曲は、分子間の明らかな類似性にも関わらず、音楽的類似性が最も高いとは判断されませんでした。この理由を理解するには、さらなる研究が必要です。しかしながら、この実験結果は、視覚情報を使用出来ない場合に、視覚から聴覚への感覚置換による分子解釈の可能性がある事を強調しています。