最新AI論文をキャッチアップ

音楽やソースコードを学習しただけでも、自然言語を理解する事に繋がる!? 

音楽やソースコードを学習しただけでも、自然言語を理解する事に繋がる!? 

natural language processing

3つの要点
✔️ 事前学習に音楽やソースコードを使っても、自然言語に対する精度を上げられる。
✔️ 単純な構造の人工言語でさえ、転移学習には有効である
✔️ 
語彙を学習しなくても、文法構造は学習出来る。

Learning Music Helps You Read: Using Transfer to Study Linguistic Structure in Language Models
written by 
Isabel PapadimitriouDan Jurafsky
(Submitted on 30 Apr 2020 (v1), last revised 30 Oct 2020 (this version, v3))
Comments: Accepted at EMNLP2020
Subjects: Computation and Language (cs.CL)
  

はじめに

ニューラルネットワークが自然言語の構文構造をどのように学習して表現するかを理解することは、自然言語処理にとって重要な課題でした。既存研究では、構文の処理を明らかにするためにモデルの内部アクティベーションを直接見たり、複雑な構文の入力をモデルに与える等していました。

この論文では新しいアプローチをします。ある言語を学習する前に、別の言語の事前学習が、誘導バイアスとしてどの程度有効であるかを調べる事により、言語モデルの構造認識を測定します。 

続きを読むには

(3994文字画像7枚)

AI-SCHOLARに
登録いただく必要があります。

1分で無料で簡単登録する

または
Tak avatar
博士(情報学)  自然言語処理で学位を取りましたが、機械学習は15年以上昔からやっています。

記事の内容等について改善箇所などございましたら、
お問い合わせフォームよりAI-SCHOLAR編集部の方にご連絡を頂けますと幸いです。
どうぞよろしくお願いします。

お問い合わせする