哪怕只学习音乐和源代码，也能理解自然语言!

3个要点
✔️ 即使使用音乐和源代码进行预训练，也可以提高对自然语言的准确率。 
✔️即使是结构简单的人工语言，也能为转移学习提供帮助。
✔️ 语法结构可以不学词汇而学。

Learning Music Helps You Read: Using Transfer to Study Linguistic Structure in Language Models
written by Isabel Papadimitriou, Dan Jurafsky
(Submitted on 30 Apr 2020 (v1), last revised 30 Oct 2020 (this version, v3))
Comments: Accepted at EMNLP2020
Subjects: Computation and Language (cs.CL)
   

首先

了解神经网络如何学习和表示自然语言的句法结构一直是自然语言处理的重要挑战。现有的研究都是直接从模型的内部激活来揭示句法加工，将复杂的句法输入到模型中，等等。

在本文中，我们采取了一种新的方法。我们通过研究在学习一门语言之前，事先学习另一门语言作为归纳偏差的有效性，来衡量语言模型的结构意识。

Tak