絵文字を通して演奏の自信を伝えるコラボレーティブ即興AIドラマーが開発される

米国モナシュ大学と、英国ロンドン大学の共同研究で、AIのドラマーがプロミュージシャンと即興セッションができるようになりました。音を検知するだけでなく、体の動きや表情などの音以外の情報も総合的に利用して演奏のマッチング度を絵文字で表現することで、人間とセッションをしているのに近い感覚で利用可能とのことです。

論文: In a Silent WayCommunication Between AI and Improvising Musicians Beyond Sound

即興における視覚的なコミュケーション

即興のセッションとは、熟達した演奏のスキル、相手の動きや流れに合わせるための経験、そして自分自身のやりたいことを伝える発信力が揃っていないとできないものです。

一般的に、人間の音楽家が即興するとき、コミュニケーションを強化するために、コラボレーションの有効性に影響を与える精神的、感情的な状態を明らかにします。そしてそれには多くの視覚的な手がかりが使われます。即興には、表情や体の動きなど言語以外のコミュニケーションが大いに必要になってくるのです。

これら人間のコミュケーションに触発され、米国モナシュ大学とロンドン大学の研究チームは、絵文字を通して演奏の自信を伝えるコラボレーティブ即興AIドラマーを開発しました。

即興演奏までの流れ


この研究では、まず最初に教師データを集めました。プロのドラマーとクラリネット奏者やサクソフォン奏者がそれぞれ実際に即興セッションを行うことで人間がセッションに成功している状態をAIに機械学習させます。

分野はスウィング、ファンク、ロックの三つでテンポを固定したセッションを行いました。

さらに、この研究では演奏者の感情をバイオ情報として用いました。被験者の演奏者にリストバンドを装着してもらい、そこから感情の昂りなどをリアルタイムに定量化し伝達できるようにし、音以外のデータも加味することができるようにしました。

このように、プロのドラマーと即興で演奏する音楽家の演奏データと、リアルタイムの肌のコンダクタンスについてトレーニングを受け、実際にAIドラマーがセッションを行います。

演奏時はAIは顔文字で自身の演奏に対する自信を表現します。0.5秒ごとに更新され、自信がないとしかめっ面に自信があると微笑みます。

また、顔の後ろにぼんやりと浮かぶ赤い光がその顔の状態の継続時間を示すようになっています。高い信頼性が維持されると、感情アイコンの背後で脈打つような光りが発生します。

これにより奏者もAIがどのような状況なのかを人間とセッションしている時に近い状態で把握することができ即興セッションの手助けになります。

実験の結果

この顔文字表記は結果として、AIの表情が演奏者の感情に大きく影響を与えてAIとの即興セッションに良い影響を与える傾向が見られました。

また、AIと人間の即興演奏は素人の人達にも聴きやすい演奏としてより積極的に一般の人々が聞くことになったという結果が出ています。

しかしながら、演奏者の感情をAIに伝えるという人間からAIへの非音楽的なコミュニケーションはあまり上手くいかなかったようです。

原因としては、リストバンドのセンシングの正確性にあると分析されています。 

リストバンド型のバイオメーターはその装着位置が重要ですが、演奏中はリストバンドの動きが大きいため、非常によくフィットしていないと誤った値をAIに送ってしまうこととなります。これが原因で、人間の感情を定量化し、AIが人間に配慮したセッションはできなかったとのこと。

今後、センシング技術が発達すればお互いに配慮し合うことでよりクリエイティブなAI利用が実現するかもしれません。