![フェイクニュースの検出に初めてLLMを活用したフレームワークが登場!](https://aisholar.s3.ap-northeast-1.amazonaws.com/media/May2024/_re-search_for_the_truth.png)
フェイクニュースの検出に初めてLLMを活用したフレームワークが登場!
3つの要点
✔️ LLMを活用したフェイクニュース自動検出のための新しいフレームワーク、STEELを提案
✔️ 複雑なデータ処理やモデルの訓練なしで、すぐに使えるように設計されたオープンソースを提供
✔️ 3つの実世界のデータセットを用いた大規模な実験により、STEELの有効性を実証
Re-Search for The Truth: Multi-round Retrieval-augmented Large Language Models are Strong Fake News Detectors
written by Guanghua Li, Wensheng Lu, Wei Zhang, Defu Lian, Kezhong Lu, Rui Mao, Kai Shu, Hao Liao
(Submitted on 14 Mar 2024)
Comments: Published on arxiv.
Subjects: Computation and Language (cs.CL); Artificial Intelligence(cs.AI)
本記事で使用している画像は論文中のもの、紹介スライドのもの、またはそれを参考に作成したものを使用しております。
はじめに
近年、フェイクニュースの拡散は政治や経済、そして社会全体に広範囲な悪影響を及ぼしており、この問題を解決するために古くから様々なフェイクニュース検出手法が開発されてきました。
一方で、こうした既存手法はWikipediaのような静的リポジトリから情報を取得することが多いため、特に新しいニュースや主張に対処できないといった欠点がありました。
こうした流れから最近では、こうしたフェイクニュースの検出に大規模言語モデル(Large Language Models, LLM)の卓越した推論能力と生成能力を利用する動きが見られています。
しかし、こうしたLLMベースのソリューションも従来の手法と同様に情報が古いという欠点があり、低品質な情報検索能力やコンテキストの長さの制約といった課題に苦しめられていました。
本稿ではこうした背景から、LLMの推論能力を利用した自動的な情報検索を用いることで、フェイクニュースの検出のためにLLMを活用した初めてのフレームワークであるSTEELを提案した論文について解説します。
STEELの概要
LLMは様々な分野において顕著な能力を示しており、フェイクニュースの検出においてもRAG(Retrieval-Augmented Generation)という膨大な外部知識ベースから関連文書を検索する手法を用いることで、フェイクニュースの検出を行なってきました。
しかし、限られたデータソースに依存することにより限界や絶えず変化するニュースの環境におけるリアルタイムの更新が困難であるといったように、いくつもの課題がありました。
本論文で提案されたSTEEL(STrategic rEtrieval Enhanced with Large Language Model)は検索モジュールと検索エンジンを介してインターネットから直接証拠を検索するマルチラウンドなLLMベースのRAGフレームワークにより、これらの課題を解決しています。
STEELの全体像を下図に示します。
図に示すように、STEELは主にRetrieval moduleとReasoning moduleという2つの主要なモジュールから構成されており、これら2つのモジュールは再検索メカニズムの包括的なフレームワークに統合されています。
それぞれ解説していきます。
Retrieval module
Retrieval moduleでは、検索エンジンを介してフェイクニュースだと判断できる証拠のソースを検索し、検索した文書と入力された情報であるClaimを類似性に基づいて並べ替えます。
ソースは基本的なフィルタリングメカニズムを実装しており、既存研究に基づいて1044個の既知のフェイクニュースのウェブサイトのリストをフィルターとして使用しています。
Reasoning module
ウェブから検索されたフェイクニュースだと判断できるソースはプロンプトに集約され、推論のためにLLMに提供されます。
その後、LLMは与えられたソースに基づいて、再検索が必要かどうかの判断も含めて評価を行い、true(真)・false(偽)・NEI(Not Enough Information=情報が十分ではない)のいずれかの結果を出力します。
Re-Search Mechanism
前述したReasoning moduleにてNEIが出力された場合、下図に示すようにフェイクニュースだと判断できる情報が不十分だという判断が下され、再調査が行われます。
この再調査ではまず、最初の検索で収集されたソースを統合し、参照用に"established evidence(確立された証拠)"と名付けれたプールに追加されます。
次に、関連する追加の情報を取得することを目的に"updated queries(更新クエリ)"がセットされ、そこに新たに情報が追加されます。
このアプローチを繰り返すことにより、フェイクニュースの判断材料となる証拠が徐々に蓄積され、モデルがニュースの真偽を見分ける能力が向上するという仕組みになっています。
Experiments
本論文では、STEELの性能を評価するために、LIARとPolitiFactという英語のデータセットとCHEFという中国語のデータセットからなる3つの実世界のデータセットを用いて大規模な実験を行いました。(これらのデータセットは、本物のニュースとフェイクニュースに分類されて構成されています。)
加えて本実験は、下記に示すように7つのエビデンスベースと4つのLLMベースの手法からなる合計11つのモデルを用いて行われました。
- エビデンスベース(G1): DeClarE・HAN・EHIAN・MAC・GET・MUSER・ReReadの7つ
- LLMベース(G2): GPT-3.5-Turbo・Vicuna-7B・WEBGLM・ProgramFCの4つ
これらのモデルに対し、フェイクニュース検出を2値分類問題として出題し、評価基準にはF1・Precision・Recall・F1 Macro・F1 Microが用いられました。
実験結果を下の表に示します。
この表から、STEELは3つの実世界のデータセットにおいて、F1 MacroとF1 Microの両スコアが5%以上も向上しており、全ての手法の中で最も高いスコアを出していることが確認できます。
本実験から、STEELがフェイクニュースの検出に非常に有効であり、推論と精度の両面で大きな優位性を持っていることが明らかになりました。
まとめ
いかがだったでしょうか。今回は、LLMの推論能力を利用した自動的な情報検索を用いることで、フェイクニュースの検出のためにLLMを活用した初めてのフレームワークであるSTEELを提案した論文について解説しました。
本論文で行われた大規模実験より、STEELは既存のフェイクニュース検出手法を超える性能を示した一方で、本論文ではテキストデータしか扱っていないという懸念点もあります。
フェイクニュースの複雑性を考慮すると、将来的にはテキスト・画像・動画・音声に含まれる情報を統合できるように、フレームワークの機能の拡張を行う必要性があります。
一方で、これらの分野に取り組むことはフェイクニュース検知の精度を上げるだけでなく、ニュースの信頼性を向上させることにもつながるため、今後の動向に注目です。
今回紹介したフレームワークや実験結果の詳細は本論文に載っていますので、興味がある方は参照してみてください。
この記事に関するカテゴリー