音楽やソースコードを学習しただけでも、自然言語を理解する事に繋がる！？　

3つの要点
✔️ 事前学習に音楽やソースコードを使っても、自然言語に対する精度を上げられる。
✔️ 単純な構造の人工言語でさえ、転移学習には有効である
✔️ 語彙を学習しなくても、文法構造は学習出来る。

Learning Music Helps You Read: Using Transfer to Study Linguistic Structure in Language Models
written by Isabel Papadimitriou, Dan Jurafsky
(Submitted on 30 Apr 2020 (v1), last revised 30 Oct 2020 (this version, v3))
Comments: Accepted at EMNLP2020
Subjects: Computation and Language (cs.CL)
  

はじめに

ニューラルネットワークが自然言語の構文構造をどのように学習して表現するかを理解することは、自然言語処理にとって重要な課題でした。既存研究では、構文の処理を明らかにするためにモデルの内部アクティベーションを直接見たり、複雑な構文の入力をモデルに与える等していました。

この論文では新しいアプローチをします。ある言語を学習する前に、別の言語の事前学習が、誘導バイアスとしてどの程度有効であるかを調べる事により、言語モデルの構造認識を測定します。 

Tak

博士（情報学）　 自然言語処理で学位を取りましたが、機械学習は15年以上昔からやっています。