プロジェクト型ハッカソン

イベント概要

• 開始日時

  2020年08月30日 19:00

• 終了日時

  2020年09月13日 19:00

• 会場

  オンライン

• 対象

  ・AIエンジニア&研究者 ・上記を目指す全ての学生

• 定員

  無制限

• 参加料

  無料

• 主催

  AI-SCHOLAR

開催の背景

本プロジェクト型ハッカソン*のお題は「データセットの評価推定」です。

*プロジェクト型ハッカソンとは、クライアントが実際に抱える潜在的な課題に対して、参加者自らがクライアントのニーズを最大限解決しうるKPI(重要業績評価指標)を設定し、どのようにして解決するのかにフォーカスしたハッカソンを指す。そのため、従来ハッカソンのような「精度」のみがKPIになるわけではない。

機械学習において、クラス分類は高い性能が出ることで知られています。しかしそのラベル付けが、本当に正しいかどうかはあまり考慮されていません。また、アノテーション作業は外部の事業者に依頼することもあります。

しかし、アノテーターの評価の正しさを判断するにあたって、チェックする項目が増えれば増えるほど、コストと労力がかかるという課題があります。そこで、アノテーターの評価をデータから判断できないのかという課題意識から生まれたのが、本ハッカソンです。

通常のハッカソンのように、すでにデータが整理され、何をすればいいのかが明確に設定された上で、細かい精度を競うものとは違い、実課題に対して参加者がどのように考えて、課題を解決するに至ったかまでを評価する点が、本ハッカソンの特徴です。

実社会で活躍するエンジニアや研究者、開発者の実業務に近いハッカソンとなります。

 

データセットと課題

・アノテーション作業を依頼するのは、外部の事業者数団体。
・事業者の扱うドメインデータ、アノテーションタスクは、各団体同一。
・しかしアノテーションするデータ自体は、各団体違う。
（例：5団体、全データ100件であれば、1団体20件のアノテーションデータを扱う）
・課題は、複数団体に依頼したそれぞれのアノテーション精度を評価し、順位付けすること。

スケジュールと参加申し込みのURL

・オンラインでのお題とデータセット公開：2020年8月30日（日）19時より
・レポート提出締め切り：2020年9月13日（日）19時
・ファイナリスト3~5組によるオンラインプレゼンテーション：2020年9月20日（日）19時より

・参加申し込みはこちらから