2020年Transformer人気記事ランキング！
2020年も残りあと僅かというところで、今年多くの注目を浴びたTransformer関連記事をランキング形式で紹介します！
AI-SCHOLARでは、2020年1月からTransformerが必ずくると思っていました！そのきっかけが、Transformer大規模化へのブレークスルーとなるか!? 高効率化したReformer登場この記事です。
この記事が弊社コミュニティで執筆論文の選定に上がった時点で、かなり熱くなることが予想できるとライターの方がキャッチアップしてくれました。そこから5月26に公開されたEnd-to-End Object Detection with Transformersも公開後すぐに記事化されて、Transformerが大きく注目を浴びていきました。それから画像〜音声様々な分野にTransformerが応用されていきましたね。
今後のAIの一般的な技術になるかもしれないTransformerに関して、ランキング形式で発表していきます。
第1位 ついに出た！本当にDETR！ 物体検出の革新的なパラダイム
Transformerを大きく世間に認知させたといっても過言ではない内容になります。論文の本質的なところでは物体検出を真のEnd-to-Endにさせたところにあるのですが、この論文を参考にTransformerを他の分野に適応させようとする動きがありました！そこから大きくTransformer時代が来たと思います。実際はTransformerを応用する分野で真っ先に成功させたものたちが今出てきていると言った感じです。
第2位 畳み込み vs Transformer！次のステージへ！新たな画像認識モデルVision Transformer
Transformerの画像への応用として話題となった内容です。本来畳み込みが一般的な部分にTransformerを応用することで精度を向上させることに成功したという内容になります。しかし、画像で一般的な考えであるはずの畳み込みなしで、Transformerを使うことがなぜ精度向上に起因したかまでは正確には判明していないので今後の展開に注目です。
第3位 Conformer：Transformerを音声認識に応用！？ GoogleによるTransformer×CNNが凄すぎる！！
Transformerの音声への応用として話題となった内容です。畳み込みすら融合すれば、精度向上がはかれるのではないかと言った内容です。実際SOTAを獲得しており、精度向上が十分にできていると言った内容です。
番外 Transformerの成長は止まらない！Transformerの改善に関する研究のまとめ
Transformerは元々研究はされてきたのですが、基本的に大規模になる傾向があり、研究機関でなければ研究できないという大きなデメリットを持っていました。そのため、Transformerを効率化する研究が盛んに行われています。そんなTransformerのサーベイ論文を紹介します。
おわりに
いかがだったでしょうか。以上、2020年注目のTransformer記事3選でした。2020年のTransformerの勢いは多くの方が認知していると思います！しかし、これらの応用技術はまだまだ最新も最新で今後の発展が重要です。
2020年は技術戦争だと思います。今後はそこでしっかりとデータ収集基盤や運用、アルゴリズムの選定、セキュリティ、エッジを2020年に虎視眈々と準備していた企業にとって2021年は、社会への実装がメインになると思います。
2021年もよろしくお願いいたします。
この記事に関するカテゴリー
