AI vs 人間！果たして人間に勝てるのか？

3つの要点
✔️ AutoMLツール間の自然言語タスク性能を評価
✔️ AutoMLツールと人の性能を評価
✔️ 今後の指標となりうる結果

Leveraging Automated Machine Learning for Text Classification: Evaluation of AutoML Tools and Comparison with Human Performance
written by Matthias Blohm, Marc Hanussek, Maximilien Kintz
(Submitted on 7 Dec 2020)
Comments: Accepted for ICAART2021 conference as a Short Paper
Subjects: Machine Learning (cs.LG)
 

はじめ

近年AutoMLはかなりの進歩をとげています。AI-SCHOLAR内でも「Googleが開発！機械学習アルゴリズムを進化的検索で全自動生成する AutoML-Zero」や「1行のコードで自動的に学習！機械学習を自動化するAutoMLの最新論文！」等で最新の成功が紹介されています。それほど、AutoMLは注目を浴びています。

しかしそのほとんどが整理されたテーブルデータに対してのものが多いです。そこで今回ご紹介する内容はそんなAutoMLが自然言語処理タスクについても同様に成功するのかという内容になります。また性能評価と一緒に人間が今までに達成してきた精度に対しても評価しています。すなわち、AIvs人間の評価になります。今回はそんなAutoMLの基礎評価を見ていきましょう。

この記事に関するカテゴリー

• AutoML