フェイクニュースの検出に初めてLLMを活用したフレームワークが登場！

fakenews 2024年05月26日

3つの要点
✔️ LLMを活用したフェイクニュース自動検出のための新しいフレームワーク、STEELを提案
✔️ 複雑なデータ処理やモデルの訓練なしで、すぐに使えるように設計されたオープンソースを提供
✔️ 3つの実世界のデータセットを用いた大規模な実験により、STEELの有効性を実証

Re-Search for The Truth: Multi-round Retrieval-augmented Large Language Models are Strong Fake News Detectors
written by Guanghua Li, Wensheng Lu, Wei Zhang, Defu Lian, Kezhong Lu, Rui Mao, Kai Shu, Hao Liao
(Submitted on 14 Mar 2024)
Comments: Published on arxiv.
Subjects: Computation and Language (cs.CL); Artificial Intelligence(cs.AI)

本記事で使用している画像は論文中のもの、紹介スライドのもの、またはそれを参考に作成したものを使用しております。

はじめに

近年、フェイクニュースの拡散は政治や経済、そして社会全体に広範囲な悪影響を及ぼしており、この問題を解決するために古くから様々なフェイクニュース検出手法が開発されてきました。

一方で、こうした既存手法はWikipediaのような静的リポジトリから情報を取得することが多いため、特に新しいニュースや主張に対処できないといった欠点がありました。

こうした流れから最近では、こうしたフェイクニュースの検出に大規模言語モデル(Large Language Models, LLM)の卓越した推論能力と生成能力を利用する動きが見られています。

しかし、こうしたLLMベースのソリューションも従来の手法と同様に情報が古いという欠点があり、低品質な情報検索能力やコンテキストの長さの制約といった課題に苦しめられていました。

本稿ではこうした背景から、LLMの推論能力を利用した自動的な情報検索を用いることで、フェイクニュースの検出のためにLLMを活用した初めてのフレームワークであるSTEELを提案した論文について解説します。

STEELの概要

LLMは様々な分野において顕著な能力を示しており、フェイクニュースの検出においてもRAG(Retrieval-Augmented Generation)という膨大な外部知識ベースから関連文書を検索する手法を用いることで、フェイクニュースの検出を行なってきました。

しかし、限られたデータソースに依存することにより限界や絶えず変化するニュースの環境におけるリアルタイムの更新が困難であるといったように、いくつもの課題がありました。

本論文で提案されたSTEEL(STrategic rEtrieval Enhanced with Large Language Model)は検索モジュールと検索エンジンを介してインターネットから直接証拠を検索するマルチラウンドなLLMベースのRAGフレームワークにより、これらの課題を解決しています。

STEELの全体像を下図に示します。

図に示すように、STEELは主にRetrieval moduleとReasoning moduleという2つの主要なモジュールから構成されており、これら2つのモジュールは再検索メカニズムの包括的なフレームワークに統合されています。

それぞれ解説していきます。

Retrieval module

Retrieval moduleでは、検索エンジンを介してフェイクニュースだと判断できる証拠のソースを検索し、検索した文書と入力された情報であるClaimを類似性に基づいて並べ替えます。

ソースは基本的なフィルタリングメカニズムを実装しており、既存研究に基づいて1044個の既知のフェイクニュースのウェブサイトのリストをフィルターとして使用しています。

Reasoning module

ウェブから検索されたフェイクニュースだと判断できるソースはプロンプトに集約され、推論のためにLLMに提供されます。

その後、LLMは与えられたソースに基づいて、再検索が必要かどうかの判断も含めて評価を行い、true(真)・false(偽)・NEI(Not Enough Information＝情報が十分ではない)のいずれかの結果を出力します。

Re-Search Mechanism

前述したReasoning moduleにてNEIが出力された場合、下図に示すようにフェイクニュースだと判断できる情報が不十分だという判断が下され、再調査が行われます。

この再調査ではまず、最初の検索で収集されたソースを統合し、参照用に"established evidence(確立された証拠)"と名付けれたプールに追加されます。

次に、関連する追加の情報を取得することを目的に"updated queries(更新クエリ)"がセットされ、そこに新たに情報が追加されます。

このアプローチを繰り返すことにより、フェイクニュースの判断材料となる証拠が徐々に蓄積され、モデルがニュースの真偽を見分ける能力が向上するという仕組みになっています。

Experiments

本論文では、STEELの性能を評価するために、LIARとPolitiFactという英語のデータセットとCHEFという中国語のデータセットからなる3つの実世界のデータセットを用いて大規模な実験を行いました。(これらのデータセットは、本物のニュースとフェイクニュースに分類されて構成されています。)

加えて本実験は、下記に示すように7つのエビデンスベースと4つのLLMベースの手法からなる合計11つのモデルを用いて行われました。