Googleが公開した自然言語処理の最新技術、BERTとは何者なのか

3つの要点
✔️ 自然言語の発展に大いに貢献
✔️ 学習しなくても前に接続するだけで精度が向上
✔️ 入出力に新規性

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
written by Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova
(Submitted on 11 Oct 2018 (v1), last revised 24 May 2019 (this version, v2))
Comments: Published by NAACL-HLT 2019
Subjects: Computation and Language (cs.CL)

はじめに

2019年2月に自然言語処理のトップカンファレンス「NAACL-HLT 2019」の採択論文が発表されました。採択された論文の中には、昨年一世を風靡した「BERT」の提案論文が含まれています。2019年も引き続き、BERTを用いた精度向上が多く報告されるのではないでしょうか。本記事ではそんな「BERT」について、重要なポイントに絞って解説を行います。

 

• 
• 
• 

この記事に関するカテゴリー

• テキストマイニング
• 機械学習