【伝統芸能×AI】機械学習で声を解析し伝統芸能の習得を手助けする

沖縄は自律的な発展をするために強みを生かした産業を開拓する事が必要とされていますが、強みとしてあげられる代表的なものが伝統芸能です。しかし、技能は口伝による伝達・継承が一般的であるため、指導者の感覚的な表現が多く継承や復興の妨げになっていました。本論文では、機械学習を活用することで、独特で複雑な伝統芸能の新しい習得方法を生み出しました。

論文:A Study on Effective Skill PassingMethod for Uta-Sanshin

沖縄産業の現状

沖縄の産業発展を阻害する要因として、下請けの仕事が多く、低賃金の労働から抜け出せず優秀な人材を確保する事が難しいという問題があります。沖縄が自立的発展を遂げるには、沖縄の強みを活かした産業を開拓する必要があり、昨今では、様々な学術分野において ICT の統合化による新産業・新サービスなどの新たな価値の創出や地域活性化が求められています。

▶︎沖縄の伝統芸能『歌三線』

そんな、沖縄の強みとしてあげられるのが伝統芸能で、その代表的なものの一つに歌三線があります。

しかし、技能は口伝による伝達・継承が一般的であるため、指導者の感覚的かつ難解な表現が多く、また、高齢化に伴う担い手の減少や、歌唱用楽譜の分かりづらさなどが継承や復興の妨げになっています。

そこで、本研究では、熟練者の歌声の特徴を事前に抽出してディ ープラーニングに学習させ、熟練者の歌声と学習者の歌声を判別するという技能伝承システムを提案しました。

技能伝承システム

本研究では、熟練者の歌声と一般人の歌声の違いを 可視化するために、歌三線の歌唱法を分析するにあ たって音声スペクトルの一種であるフォルマントに 注目し、LPC(Linear Prediction Coding)分析を行いました。

このフォルトマントが歌三線の独特な発声法である喉を閉じる・絞ると行った表現と深く関係していると考えられており、学習者はこの特徴を得られることを目指します。

▶︎フォルトマン×多層パーセプトロン

この、フォルマント周波数の値を学習するにあたり、使用したニューラルネットワークが多層パーセプトロン MLP(Multilayer Perceptron)です。MLP は神経細胞を模したパーセ プトロンを多層化したニューラルネットワークであり、もっとも単純なディープラーニング の構成で、入力層,出力層,中間層が 4 層の全 部で 6 層の構成となっています。

この、組み合わせの手法により、従来のスペクトル画像を対 象とした CNNの手法 と比較し、入力数を大幅に削減する事 ができました。

将来的な発展

今後は、学習したデータをもとに習熟度を評価するアルゴリズムを検討し、歌三線における技能伝承を支援するシステムのプロトタイプを開発することを予定しているとのこと。

また、展望として将来的には、この技能伝承支援システムを歌三線の教育や沖縄県の産業発展のために活用したいと考えているそう。

例えば、本提案システムを現場に教材として提供できれば、AI による本格的な歌三線の学習支援を実施出来るほか、歌三線向け歌唱アプリや無形文化財の永久保存、国内外の様々な歌唱様式への発展など、様々な応用・発展が期待されます。