HCI研究における大規模言語モデルの統合と倫理的課題
3つの要点
✔️ HCIの研究活動における大規模言語モデルを用途を調査
✔️ 大規模言語モデルが浸透する一方、プライバシー侵害、データの誤用など倫理的課題を懸念
✔️ HCI研究における大規模言語モデルの責任ある使用を支援するため、倫理ガイドラインと教育の必要性を提起
"I'm categorizing LLM as a productivity tool": Examining ethics of LLM use in HCI research practices
written by Yongqi Tong, Dawei Li, Sizhe Wang, Yujia Wang, Fei Teng, Jingbo Shang
(Submitted on 28 Mar 2024)
Comments: Published on arxiv.
Subjects: Human-Computer Interaction (cs.HC)
code：
本記事で使用している画像は論文中のもの、紹介スライドのもの、またはそれを参考に作成したものを使用しております。
概要
近年、大規模言語モデルが急速に発展しています。そして、研究と教育の現場に多くの変化をもたらしています。これらのモデルは、人間とコンピュータのインタラクション（HCI）の研究において、質的・量的データの分析、社会科学の実験の再現、新しい社会動態のシミュレーションなど、研究プロセスの強力な補完手段ともなっています。一方で、誤情報や差別、プライバシー侵害などのリスクも指摘されており、大規模言語モデルの安全な使用には慎重な検討が求められています。
HCI分野における倫理的配慮はこれまでも研究されていますが、大規模言語モデルの応用については、これまでにない課題を提示しています。大規模言語モデルの効果的かつ倫理的な統合に向けて、大規模言語モデルをどのようにプロジェクトに取り入れているのか、どのような倫理的懸念が存在するのか、そしてそれらの懸念にどう対処しているのか、実用におけるギャップを埋めるため、多くの研究や議論がなされています。
この論文では、50名のHCI研究者によるアンケートと16名のインタビューから得られたデータをもとに、大規模言語モデルがHCI研究のプロセス全般に、どのように活用されているかを紹介しています。これには、アイディア生成からシステム開発、論文執筆に至るまで、様々な応用が含まれています。また、大規模言語モデルに関する潜在的な倫理的問題に対する研究者の予期と対応にも言及しています。
最終的に、これらの結果をもとに、研究倫理の重要性と、そのための具体的な提案を提示しており、倫理審査委員会などとの協働、インフォームドコンセントのプロセス改善、倫理教育の機会の拡大、研究インセンティブ構造の見直しなどを提案しています。HCI分野は、大規模言語モデルの統合を進める中で、これらの倫理的配慮をどのように推進していくのかが、今後の大きな課題となることを示唆しています。
アンケート調査
この論文では、HCI研究者がどのようにして大規模言語モデルを研究プロセスに取り入れ、倫理的考慮事項をどう扱っているかに焦点を当てています。この点について、包括的な理解を得るため、シーケンシャル・エクスプラントリー・デザイン（Sequential Explanatory Design）を採用し、広範な視点から意見を集めることを目的とした調査と、半構造化インタビューを実施しています。このアプローチにより、研究者の倫理的懸念に対する具体的な取り組みを詳しく調査しています。なお、この研究プロジェクトは所属機関のIRBにより承認されています。
この調査はQualtricsで実装されたオンラインアンケートを用いて行われ、50人の回答者からデータを収集しています。参加者は、ソーシャルメディア広告、直接メール、大学のメーリングリストなど複数のチャンネルを通じて募集されています。調査開始時には、参加者からインフォームドコンセントを得て、個人を特定できる情報の記録を控えています。選考基準は、HCI関連分野で活動する研究者であり、大規模言語モデルを使用した経験があることです。
最終的に77人の参加者の中から50人が全セクション（人口統計情報を除く）を完了しました。人口統計情報に答えた43人の中で、多くがアカデミア、産業界、非営利団体で働くと回答しています。これらの参加者は、HCI分野の様々なサブフィールドで活動しており、アメリカ、アフガニスタン、ドイツ、アルジェリア、香港、中国、スペイン、ナイジェリア、オーストラリア、日本など多岐にわたる国からの回答がありました。平均して、参加者はHCI研究に4年間従事しています。
また、合計18問から成るアンケートを用いています。これには14問の多肢選択問題と4問の自由記述問題が含まれています。アンケートでは、大規模言語モデルを「パラメータの数や学習データの大きさによって規模が増す生成言語（及びマルチモーダル）モデルのサブセット」と定義し、GPT-4、GPT-3.5、Llama 2、Vicunaなどを具体例として挙げて説明しています。
調査参加者には、最近の研究プロジェクトで大規模言語モデルを使用した経験に基づいて、次の3つのセクションに分けられた質問に回答してもらっています。
- HCI研究プロジェクトでの大規模言語モデル使用に関する質問
- HCI研究における大規模言語モデル使用の倫理に関する質問
- 研究に関連する人口統計学的質問
アンケートの最初の部分では、プロジェクトを一文で説明し、使用した主な研究方法、HCIのサブエリア、大規模言語モデルを取り入れた研究プロセスの段階を聞いています。また、大規模言語モデル使用に伴う潜在的な倫理的配慮に焦点を当て、「研究プロジェクトにおいて大規模言語モデル関連の倫理的課題に遭遇したり、観察したことがありますか？」という質問から、倫理的課題についてのクローズドエンドとオープンエンドの質問をしています。さらに、それらの倫理的課題をどのように特定し、対策を講じ、報告したかについても聞いています。最後に、回答者の所属機関のタイプ、国、HCI研究の経験年数に関する人口統計学的質問を含めまれています。なお、この回答は任意です。
データ分析では、SPSSを使用して記述統計を計算し、研究者が大規模言語モデルに関連する倫理的懸念にどのように対応しているかを分析しています。特に、複数選択肢の回答が提示された質問（例えば大規模言語モデル使用時の倫理的課題）についての統計を取り入れています。回答者の一部だけが完了した質問については、特定の質問に対する回答率とその質問に答えた回答者の割合を算出しています。
インタビュー調査
2023年10月から11月にかけて、大規模言語モデルを利用した研究プロジェクトを行った16人のHCI研究者にインタビューを実施しました。各インタビューは、参加者が最近取り組んだプロジェクトを説明することから始まり、プロジェクトにおいて大規模言語モデルがどのように適用されたかを調査しています。インタビューは、研究プロセス全体での大規模言語モデルの使用、特定の倫理的配慮、倫理的配慮のナビゲート方法、IRBの役割、倫理的枠組みやツールキットの役割、インセンティブと責任に焦点を当てて行われています。
参加者は、配布リスト、専門ネットワーク、個人的な接触を組み合わせて募集され、スノーボール・サンプリングと目的サンプリングを用いて繰り返し行われています。サンプルにはアメリカ、中国、シンガポール、ドイツからの研究者が含まれ、その多くがアカデミアで働く男女研究者です。
インタビューはビデオ会議を通じてオンラインで実施され、全セッションは英語で行われています。インタビュー前には目的の説明と電子的なインフォームドコンセントが得られ、参加者はいつでも質問の回答を拒否したり、録音の一時停止を要求することができます。各セッションは約40〜60分続き、逐語記録されたノートとビデオが後の分析のために使用されています。参加者には30ドルのギフトカードが提供されています。
質的データの分析には、BraunとClarkeによる反射的テーマ分析アプローチを採用しています。研究チームは、各インタビューのトランスクリプトを複数回読み、倫理的配慮や課題に関するオープンコーディングから始めています。チームは定期的に会合を重ね、初期コードに基づきテーマを反復的に定義し、カテゴリを特定しています。これにより、研究プロセス、倫理的懸念、倫理的配慮へのアプローチなどのカテゴリが明確にされ、最終的にはトップレベルのカテゴリとして結果に統合されています。
調査結果：HCI研究者が日常業務で活用する大規模言語モデル
論文では、HCI研究者がどのように日々の研究業務に大規模言語モデルを取り入れているかについての調査結果が示されています。アイデア出し、文献レビュー、研究デザイン、データ分析、システム構築、評価、そして論文執筆といった研究の各段階で大規模言語モデルがどのように活用されているかが明らかにされています。
特に、論文執筆と研究デザインの段階での使用が多く、これにプロジェクトの範囲設定、システム開発、データ生成、収集、そして分析が続きます。調査からは、大規模言語モデルが研究に「新しい可能性を開く」との認識が示され、「適切に活用すれば、本当に力を与える新しいクールなことができるようになる」との声もあります。
研究の初期段階では、参加者たちは大規模言語モデルを用いて新しい研究問題を発掘し、これを具体的な研究目標へと精緻化しています。例えば、ある参加者は大規模言語モデルに広範なトピック領域を入力し、生成された研究問題をもとに研究目標を定めまていました。また、別の参加者は大規模言語モデルを使って、キャリアコーチとしての助言を求め、AIとサイバーセキュリティの交差点で探求すべきテーマを探っていました。これらの活動により、HCI研究者は迅速に多様なアイデアを生成することができ、ブレインストーミングにおいて大きな助けとなっています。
さらに、データ関連の作業においても大規模言語モデルの利用が拡大しています。多くの研究者が、ウェブソースからの情報を合成する際に大規模言語モデルを活用しており、それによって通常は多大な時間と労力を要する作業を大幅に効率化しています。質的データのコーディング、プロット作成、データ可視化など、データ分析の各プロセスにも大規模言語モデルが組み込まれ、研究の質と速度の向上に寄与しています。
この調査結果は、HCI分野におけるLLMの多様な活用例とその潜在能力を示しており、研究者たちに新たな研究手法を提供しています。
調査結果：HCI研究者が大規模言語モデルの使用に抱く倫理的懸念
HCI研究者は、大規模言語モデルの使用に関連する多様な倫理的課題を経験しています。調査結果によると、研究者の中で30名が倫理的問題を観察し、10名は不確実性を感じており、10名はこれらの懸念に気付いていませんでした。特に、データプライバシー、著作権、有害な出力、著作権問題、同意といった問題が顕著です。これらの問題は、研究設計、実行、分析、論文執筆の段階でよく見られます。
また、大規模言語モデルがユーザーと直接対話するシステムやツールに統合された場合、研究対象者が有害な出力と関わることへの倫理的懸念が増大しています。大規模言語モデルによる出力は、特に重要視しないされていないグループに対して、社会的な偏見やステレオタイプを通じて不釣り合いな害を与える可能性があります。
また、大規模言語モデルが障害者への偏見を強化する新たな層を導入するリスクも指摘されています。大規模言語モデルが生成する一見権威あるが捏造された情報は、研究の信頼性に影響を及ぼす恐れがあります。特に、大規模言語モデルが生成した偽の引用や不一致の論文参照を識別することが、研究者には大きな課題となっています。
研究設計や評価の段階で、大規模言語モデルから継承されるバイアスも問題とされています。研究者は、大規模言語モデルが均質なコンテンツを生成し、多様な視点を一般化してしまう傾向に懸念を示しています。この「人間の多様性とニュアンスを平坦化する」傾向は、研究の文脈での生活体験の複雑さを捉えることの重要性を強調しています。
また、大規模言語モデルに入力されたデータがどのように使用され、プライバシーが侵害される可能性があるかについて、研究者たちは大きな不安を抱えています。特に、音声の書き起こしやナビゲーションデータのような機密情報が大規模言語モデルによってどのように扱われるかが懸念されています。これらのデータが外部に漏れることは、物理的な害につながる可能性すらあります。研究者たちは、LLMプロバイダーとのデータ共有が引き起こす個人情報の漏洩リスクについても強く懸念しており、セキュリティの欠陥から個人情報が誤って露呈する可能性があることを指摘しています。
さらに、大規模言語モデルによって生成されたテキストやビジュアルの所有権が不明確であることから、知的完全性も問題視されています。共同制作の過程で、どの部分が研究者のオリジナルの貢献であり、どの部分が大規模言語モデルによるものかを区別することが困難です。大規模言語モデルが研究成果の一部となる場合の盗作のリスクについても議論があります。研究者たちは、大規模言語モデルが生成したコンテンツの所有権について、特に論文執筆の段階で疑問を持っており、これに対する適切なクレジットの付与が求められています。
また、大規模言語モデルを使用した研究結果の再現性には、特に技術の迅速で不透明な更新が影響を及ぼしています。研究者がどのバージョンのLLMを使用しているのか把握できない場合、過去に機能した方法が将来うまく機能しない可能性があります。これにより、研究結果の信頼性が損なわれる恐れがあります。
これらの懸念は、大規模言語モデルの利用が広がる中で、HCI研究における倫理的なガイドラインの強化と透明性の向上を急務にしています。
調査結果：HCI研究者による大規模言語モデルの倫理的懸念に対する取り組み
ここでは、HCI研究者たちがどのようにして大規模言語モデルの使用に伴う倫理的な課題に対処しているかを調査しています。そして、使用する文脈や研究の領域に応じて倫理的な対応を調整していることがわかります。
調査によると、HCI研究者の多数が潜在的な倫理的懸念を認識しつつも、これらを具体的に特定または対処することは難しいと感じています。例えば、研究ドメインが低リスクと見なされる場合、大規模言語モデルの倫理的な課題は無視されることが多く、緊急の必要性が低いと考えられています。一方で、高リスク領域では、より積極的な倫理対策が必要ですが、実際にはそのような対策が取られることは少ないようです。
インタビューに参加した研究者たちは、具体的な状況や倫理的考慮を最優先する理由を挙げ、大規模言語モデルの使用に伴う一般的な倫理的問題が自身の研究には適用されないと述べています。このような反応的な取り組みにより、問題に対する即時の解決策を模索していますが、根本的な課題への対応は後回しにされがちです。
さらに、HCI研究の多くが実験室環境で行われることから、倫理的な問題は日常的なものとは異なる形で表れるため、短期的なユーザビリティテストでは、大規模言語モデルによる有害な出力に直面する可能性は低いとされています。しかし、長期的な研究ではより重大な問題が発生することもあります。
また、HCI研究者は、大規模言語モデルを日常的なツールとして位置付けています。結果として、研究参加者や倫理審査委員会（IRB）、あるいは広範な学術コミュニティに対して、大規模言語モデルの使用を正式に報告する必要がないと考えている参加者も多いことが明らかになっています。
この調査は、HCI研究者が大規模言語モデルの倫理的問題にどのように認識しているかという実態を示しています。
まとめ：HCI研究における大規模言語モデルの統合と倫理的課題
この論文では、HCI（ヒューマン・コンピュータ・インタラクション）研究者が、大規模言語モデルをどのように利用しているか、そしてどのような倫理的な問題に直面しているかが明らかにされています。アンケートとインタビューを通じて集められたデータに基づき、研究者たちがLLMを研究にどう組み込んでいるか、また遭遇する倫理的な懸念にどう対応しているかが調査されています。
この研究からは、HCI研究者たちが研究のあらゆる段階で大規模言語モデルを活用しているものの、倫理的な問題を効果的に特定し、対処するのに苦労していることが示されています。プロジェクトごとの倫理的な課題を明確に識別し、それに適切に対応することが難しいとされています。
この論文では、HCI研究における大規模言語モデルの責任ある使用を促進するための倫理規範を形成するための新たなアプローチも提案されています。研究者たちには、倫理審査委員会（IRB）との連携や、政策立案者、生成AI企業と共同でガイドラインを作成することを奨励しています。また、インフォームド・コンセントのプロセスの再評価や、大規模言語モデルのサプライチェーンを中断する技術的支援の提供が必要であることも指摘しています。さらに、HCI分野における倫理教育の機会を増やし、倫理的懸念を重視する学術的なインセンティブの変更も求められています。
今後、これらの取り組みが、より倫理的な研究環境の構築に寄与することが期待されています。
この記事に関するカテゴリー
