世界中から研究を行う！クラウドソーシングにより研究を行う「クラウドリサーチ」

クラウドソーシング 2020年02月28日

3つの要点

✔️クラウドソーシングを用いてどこからでも研究ができる方策を提案したHCIの研究
✔️グラフ構造を用いて論文著者を決める画期的な基準を提案
✔️PIに負担を掛けすぎない研究方策

Crowd Research: Open and Scalable University Laboratories

written by Rajan Vaish, Snehalkumar (Neil) S. Gaikwad, Geza Kovacs, Andreas Veit, Ranjay Krishna, Imanol Arrieta Ibarra, Camelia Simoiu, Michael Wilber, Serge Belongie, Sharad Goel, James Davis, Michael S. Bernstein
(Submitted on UIST 2017)

あの人と研究をしたいが、距離が遠すぎるし、会いに行けないし、それはまた夢の話だろう…
そう思っていませんか？
今回紹介する論文は、研究の進め方に新たな一手を生むものです。

概要

事前用語解説

クラウドソーシング：不特定多数の人の寄与を募り、なんらかのコンテンツを取得するプロセスを指す。
PI (Principal Investigator)：研究室主宰者。研究や研究室を取りまとめる人物のことを指す。大学で言えば研究室の教授や准教授などを指す。
クレジット：研究で言えば論文著者を指す。映画などでは制作に携わった人を指し、映画の最後に流れるのがエンドクレジットである。
HCI (Human Computer Interaction)：人間がコンピュータなどの道具をより快適に使えるようにすることに関する研究分野を指す。

研究の進め方には色々あります。
同じ研究室で顔を合わせて週1はミーティング、毎日ディスカッション、リモートで月1で進捗報告など様々です。

しかしながら、1つの研究に参加する人数が10人以上であり、かつ、ほとんどの人が国を跨いで研究を行う場合には、進捗報告1つを取ってもスムーズに行うことが困難なことは容易に想像できます。
このように研究を進めることは困難でありますが、研究者たちの垣根が低くなるようにできれば、より研究活動は活発になるでしょう。
研究への参加人数が大勢であり、リモートで研究を行う場合に対して画期的な研究方法を提案し、検証したHCIの研究がCrowd Researchです。

Croud Researchはクラウドソーシングにより世界各国から研究者を募り、研究を行うための枠組みを作りました。AI研究ブームとなっている今、Crowd Researchで提案された研究方法を用いることでさらに研究を加速させることができるかもしれません。
それでは見ていきましょう。
Croud ResearchはユーザインターフェースのトップカンファレンスであるUIST2017にてHonorable Mention (選外佳作、実質4位)を受賞した研究になります。

本論文のメインアイデアと貢献

メインアイデア

本論文のメインアイデアは以下の2つです。

クラウドソーシングによる研究方策の確立
適切にクレジットを割り振る指標”Page Rank“

クラウドソーシングソーシングによる研究方策の確立

1つ目は以下の図のようなサイクルを回すことでクラウドソーシングによる研究を行うことが可能になりました。

図中のopen callはPIが研究に携わる人物をリクルートし、サイクル自体は以下の3つのフェーズを繰り返すことになります。

マイルストーン提出
ピア・アセスメント (相互評価)
ビデオ通話によるグループミーティング

マイルストーンとは
プロジェクト完遂のための重要な中間目標を指します。今回の場合は約6日ごとに参加者はデータ分析や実装、論文執筆などについてを記述したマイルストーンをPIに提出します。マイルストーンの例としては以下の図が挙げられています。

続いて、ピア・アセスメントです。
海外の5ch的存在であるRedditのようにマイルストーンをスレッド形式で投稿して、その投稿に対して参加者でピア・アセスメントを行います。しかし、最初は匿名でピア・アセスメントを行っていましたが、その場合はどうしても匿名ゆえに言葉に棘が出たりと何かとギクシャクする要素が発生してしまいました。そこで、Crowd Researchでは完全に相互の情報をオープンにしてピア・アセスメントを行うことで効果的なピア・アセスメントにしました。

そして、最後のサイクルの要素であるビデオミーティングです。
ビデオミーティングはYouTube LiveやGoogle Hangouts on Airを用いて週に1回に行われますが、何十人といった参加者全員と話していてはいくら時間があっても足りません。
そこで、Crowd Researchでは高評価であったマイルストーンを提出した参加者と密なミーティングを以下の図のように行います。他の参加者はというと、そのビデオミーティングの配信を視聴してSlackの#meetingsチャンネルにて議論を行います。研究に関して様々な視点があることが重要なので、ビデオミーティングに選ばれる参加者は可能な限り国籍、性別、人物背景が分散するように選ばれます。
週1回のビデオミーティングの末、PIはその週のbest workを選出し、次の週のマイルストーンをデザインします。このbest workの選出、即ちDRI (Directly Responsible Individual)の選出が参加者のモチベーションを上げ、研究を加速させることに貢献しています。

適切にクレジットを割り振る指標”Page Rank”

2つ目はクレジットの割り振り方についてです。
クレジットの割り振りに関しては5人ほどの研究に関しても貢献が定量的ではないので、割り振りがかなり困難になっています。なので、Crowd Researchのように何十人と研究を行う場合にはクレジットの割り振りの困難さは計り知れません。
そこで、Crowd Researchではタスクごとの重要度も考慮した定量的にクレジットを割り振る指標を提案しました。

各参加者にはcredit pointと呼ばれる自身以外の参加者を評価するためのポイントが100ポイント割り振られます。各参加者は他者にこのポイントを貢献ごとに割り振ることでグラフ構造が構築されます。例えばAさんがBさんに50ポイント、BさんがAさんに10ポイント、CさんがBさんに50ポイントとした場合はAさんはBさんから10ポイント、BさんはAさんとCさんから計100ポイントといったようになります。以下にグラフ構造の図を示します。

Raw Creditは生の割り当てスコアになります。これで適切な割り振りが完了！と思いきやそうではありません。
slackのコメント数やGithubのコミット数などがこのcreditの評価対象になっていますが、slackのコメント数はGithubのコミット数などに比べて影響が少ないことは容易に考えられます※1。
そこで、Crowd Researchでは各タスクの重要度を考慮して計算する“Page Rank“※2を提案し、適切なクレジットの割り振りを実現しました。
以下の図のようにRaw Creditでは2番と4番だった人が、Page Rankを計算すると5番と6番になり、適切なクレジット割り振りが実現されました。

※1　実際にslackのコメント数は貢献に関して重要な役割を及ぼしにくいという結果が論文中表1に示されています。
※2　ここでは数式は割愛しますが、論文中6ページ目の右下に式が示されています。

貢献

長くなってしまいましたが、本論文の貢献は以下の通りです。

クラウドソーシングによる新たな研究方法を確立した点
クラウドソーシングによる研究を行う際の定量的には判断しづらい項目に関して網羅的に調査し、人間の振る舞いや、Crowd Researchの性質を明らかにした点。

1つ目の貢献がとても大きく、抜きんでた発想と内容からUISTのhonorable mentionに選ばれたのも納得です。
2つ目は1つ目の提案を確固たるものにするべく行われた網羅的調査であり、とても誠実な研究であることが伺えます。

実験結果

実験としてCrowd Researchでは3つの研究グループに上記の研究方策を用いて研究を行ってもらいました。研究グループはCV (Computer Vision)、Data Science、HCI (Human Computer Interaction)です。

CVグループはメインアイデアの研究方策を用いて研究を行い、WIP (work in progress：進行中の作業内容)をhuman computationとクラウドソーシングの国際会議であるHCOMP 2015に54名の著者でポスターとして発表しました。

Data ScienceグループはWIPをユーザインターフェースのトップカンファレンスのUIST 2015に60名の著者でポスターとして発表しました。

最後にHCIグループですが、HCIグループは特に目覚ましい成果が出ています。各グループとも一つのアイデアが途中で没になったときの危機を回避するために複数のプロジェクトを走らせていましたが、HCIグループは複数のプロジェクトが実を結びました。WIPをUIST 2015に70名でポスター、UIST 2016に37名でフルペーパー、コンピュータ支援による行動作業に関するカンファレンスのCSCW 2017に28名でフルペーパー、自然言語のトップカンファレンスのEMNLP 2016にてbest dataset paper awardを受賞しました。
特にHCIは業績が良かったので、マイルストーンから研究アイデアの遷移が示されていますが、具体的な業績に繋がる考察はされておらず、研究進行の成功例として示されています。

Crowd Researchの参加者からは以下の図のようにどのプロジェクトからもおおむね高評価が得られており、コメントも”とても楽しかった！“や”いい経験になった“など好意的でした。ピア・アセスメントについては他人を評価するので、人間関係上ギクシャクする場面があったようで、やや評点が低くなっています。