Googleが開発した自然言語処理の看板技術BERTの研究はどこまで進んでいる? BERTologyの最前線

3つの要点
✔️ 自然言語処理の中心的存在であるBERTのサーベイ論文の紹介
✔️ BERTに関する研究の方向性、課題を2回にわけて網羅的に説明
✔️ 今回はBERTが何を捉えているかを調べた研究を紹介

A Primer in BERTology: What we know about how BERT works
written by Anna Rogers, Olga Kovaleva, Anna Rumshisky
(Submitted on 27 Feb 2020)
Comments: Published by arXiv
Subjects: Commputation and Language(cs.CL)

近年の自然言語処理技術の発展を考える上でBERTと呼ばれるtransformerベースの事前学習言語モデルの存在は欠かすことができません。2018年に発表された当時、自然言語理解の総合的な能力を測るベンチマークであるGLUEタスクにおいて当時の最高精度であったOpenAI GPTのスコアを7%も向上し、驚きをもたらしました。それ以降、BERTの汎用的で高い言語処理能力は様々なタスクにおけるベンチマークとなり中心的な存在となりました。今回はそのBERTに関する幅広い研究を紹介し、どのような課題があるのかを見ていきます。

田代真生