レコメンドは思想にも影響を与えてしまうのか: トピック間の政治的立場の違いに着目したニュース推薦

Recommendation 2023年02月06日

3つの要点
✔️ 政治的立場(リベラルか、保守か)の偏りという観点でのフィルターバブル解消を目的としたニュース推薦
✔️ ニュース内の政治的立場を決定づけるような単語の影響が小さくなるように目的関数を設計したSTANPP・ニュースのトピック固有の単語の影響が大きくなるようなマルチタスク学習MTAN・その二つを組み合わせたMTANPPを提案
✔️ ニュース推薦をユーザが好むかどうかの二値分類とし、大規模言語モデル(BERT)による実験を行った。

Reducing Cross-Topic Political Homogenization in Content-Based News Recommendation
written by Karthik Shivaram , Ping Liu , Matthew Shapiro , Mustafa Bilgic , Aron Culotta
(Submitted on Sep 2022)
Comments: RecSys

本記事で使用している画像は論文中のもの、紹介スライドのもの、またはそれを参考に作成したものを使用しております。

はじめに

ニュースアプリにおけるレコメンド(推薦)機能の重要性が、日に日に高まっています。ニュースの推薦は、日々発行される膨大な記事を、コンテンツ内容やユーザの興味、時事性など、様々な要素に基づき抽出・ランク付けを行います。抜粋された記事のみが表示されるため、ユーザの情報過多を解消することが可能です。

しかし、ユーザの興味を過度に重みづけた推薦はフィルターバブルに繋がります。フィルターバブルは、検索ログやアクセスログ等のユーザの興味に基づいた推薦の結果、ユーザが見たい情報ばかりが推薦され、「見たくない情報」や「考えに合わない情報」から隔離され、自身の考え方や価値観が「バブル（泡）」のように孤立してしまう現象を指します。フィルターバブルは、2011年、Pariserにより定義されました。以来、推薦分野では活発に議論がなされており、ニュース推薦における最も重要なテーマの一つです。

この論文では、ニュース推薦におけるフィルターバブルの中でも、特に、政治的立場に着目した新たなニュース推薦の手法を提案しています。

トピック間の政治的立場の違いに着目したニュース推薦

ユーザの興味に基づいたニュース推薦が、推薦結果の偏りを引き起こしますが、一口に「偏り」といっても感情極性や記事のトピックなど、その種類は様々です。この研究ではその中でも特に、政治的立場、すなわち、リベラルか、保守かの偏りに注目しました。

このような政治的な立場・考え方というのは、「この人は保守」「あの人はリベラル」のように、個人が特定されれば、どんな話題であっても、画一であるように誤認識されがちです。しかし、アメリカ人を対象にした調査によると、多くの人は、「人口中絶に対してはリベラルだが、移民問題に対しては保守的」のように、トピックに応じて、多様な政治的立場を取ることがわかっています。

ここで問題となるのが、ニュース推薦により、新しく登場したトピックに対する政治的立場が、過去のアクセスログに影響を受け、偏ってしまう可能性があるという点です。

例えば、銃規制に関して保守的な立場の記事を好むことが過去のアクセス履歴からわかっているユーザに対して、新しいトピックである人口中絶の記事を推薦することを想定します。この時、銃規制の記事へのアクセスログから「保守的な記事を好む」と推定され、人口中絶の記事に対しても、推薦結果にその傾向が反映されてしまいます。しかし、もし、そのユーザが人口中絶に対しては、リベラルな立場の記事を好む場合、その推薦は、単に政治的立場の多様性を失わせているだけでなく、誤った推薦であると言えます。

このように、ニュース推薦により生じる異なるトピック間での政治的立場の偏り・均質化を筆者らはCross-topic Homogenizationと定義しました。本論文はこの問題を解決することを目的としています。

本研究では、2種類のAttentionベースな深層学習モデルを提案しました。まず、一つは著者らが独自に収集した政治的な立場、リベラルか、保守かを特徴づけるような単語が予測結果に影響を与えにくくなるように、ペナルティを与えるような目的関数を設定しています。もう一つはトピック固有の単語に対して重み付けを行うような手法です。また二つの手法を組み合わせた手法についても検証を行いました。

筆者らは90万件の政治的立場がラベルづけされたデータセットを用いて、検証を行いました。「ユーザが特定の記事を好むかどうか？」という2値分類によって、推薦を定式化しています。「トピックAについてはリベラルな記事を好み、トピックBについては保守的な記事を好む」のように2つのトピック間で政治的立場が逆であるユーザを想定します。

ニュース推薦に関する関連研究

ここでは、本研究の関連研究について紹介を行います。

まずはニュース推薦の偏りを解決する研究に関する紹介です。この研究では、政治的立場(political stance)の偏りという新しい偏りに注目しています。しかし、ニュース推薦の偏りには、他にも、記事の人気度による偏り(Popularity bias)や露出機会による偏り(Explosure bias)など様々なものが存在します。これらのバイアスは推薦アイテムの均質化を招き、フィルターバブルやエコーチャンバーといった現象に繋がります。推薦結果に、政治的立場の偏りが生じることは、世論をリベラルと保守で分かれてしまう政治的分極化を招きかねません。この傾向はニュース推薦に顕著であり、ニュース推薦結果の多様性のために、様々な手法が提案されています。

次にニュース推薦の既存手法について紹介を行います。ニュース推薦の手法は既に多く提案されていますが、近年は深層学習ベースのモデルが特に高いパフォーマンスを出すことで知られています。深層学習ベースのニュース推薦の多くの既存手法ではAttentionをベースとしており、ユーザ・ニュースの両方の表現(ベクトル)を過去のクリックログからの学習により獲得し、未知のアイテムに対するクリック率を予測します。近年では、ユーザ表現・コンテンツ表現、両方のパフォーマンス向上のために、BERTなどの事前学習済みの言語モデルの活用も進んでいます。

このように、ニュース推薦の手法や多様性向上等の議論は、近年活発に行われていることがわかります。しかし、本研究が提案する政治的立場の多様性、特にトピック間の政治的立場の違いに注目したニュース推薦についてはまだ提案されていません。

課題設定・データセット

課題設定

この研究では、テキスト推薦を、「一人のユーザに対して、ある記事をそのユーザが好む確率(Feedback Labels)を予測する」というシンプルな二値分類として考えます。

記事: $a = \{a_1, ... , a_n\}$
Feedback Labels: $ y = \{y_1 , ... , y_n\} ( y = 1 → 好む, y = 0 → 好まない) $

ここで、記事リスト$a$は、その上で、2種類のトピック1・トピック2から構成されます。Feedback labelsはトピック間で政治的立場が逆であるユーザをシミュレートするべく「ユーザがトピック1については保守的な記事を好み、トピック2については、リベラルな記事を好む」というようにラベルづけを行います。

900K news articles from 41 news sources

この実験ではLiuらの研究により得られた41の異なるニュースサイトから得られた900,000件のニュース記事をデータセットとして活用しています。これらのニュース記事は$\{-2,-1,0,1,2\}$と5段階で政治的な立場がラベリングされています。-2が最もリベラルで、+2が最も保守に当たります。この研究ではそのデータセットの中から100,000件を抽出して用いています。

実験用のデータセット構築作業

抽出した100,000件のニュース記事には政治的立場はラベリングされていますが、トピックのラベリングはされていません。そこで、この研究では、以下の手順による教師なしクラスタリングによってトピックの抽出を行いました。

1.ニュース記事をtf-idfによって、特徴量抽出
2.k平均法により100,000件のデータを100クラスに教師なし分類

そのようにして得られた教師なし分類の結果から、400件以上の記事が含まれるクラスタのみを抽出し、なおかつ、政治的に保守な記事・リベラルな記事の数が各クラスタで同数になるように抽出を行いました。

その結果、最終的に、45種類のクラスタのペア(計90クラスタ)を取得しました。トピックに基づき正しく分類できているかを確認するために、研究者らは目視で確認を行ったところ、対象となったトピックは「銃規制」「移民問題」「医療問題」などが挙げられます。

政治的嗜好の偏りを考慮したニュース推薦(提案手法)

Baseline 1: Single Task Network (STN)

既に述べた通り、この研究では、テキスト推薦を一人のユーザがニュース記事を好むか、好まないか、という二値分類により行っています。テキストの分類の手法として、近年最も用いられるのが事前学習済みの言語モデルを活用した手法です。この研究では、推薦のベースラインとしてBERTを用いた二値分類による実験を行っています。以下はモデルの概要です。

Baseline 2: Single Task Attention Network (STAN)

この研究ではもう一つのベースラインとして、BERTにAttention層を加えたモデルによる実験も行っています。BERTの出力(CLSのみではない)を線形変換層に入力し、その出力をソフトマックス関数により正規化した値を、Attention Weightとします。

そして、Attention WeightをBERTからの出力ベクトルに掛け合わせます。これにより、予測精度に影響を与えるような単語に重み付けをすることが可能です。

Proposed Method 1: Single Task Attention Network with Polarization Penalty (STANPP)

ここからは、筆者らの提案手法の説明を行います。STANPPは深層学習モデルにはSTANを用いつつ、政治的立場に影響を与えるような単語に対してペナルティを与えるような目的関数(loss function)を設定します。ここでは、「政治的立場に影響を与えるような単語の抽出」と目的関数(loss function)の2つについて見ていきましょう。

まずは政治的立場に影響を与えるような単語の抽出方法についてです。既に述べた通り、筆者らが用いたデータセットは記事に対する政治的な立場(リベラル or 保守)がラベル付けされています。特定のラベルに影響を与えるような単語の抽出方法は様々なものが存在しますが、ここでは、「ラベル」に影響を与えるような「単語」をカイ二乗検定により200単語抽出しました。以下はその例になります。

次に政治的立場に影響を与える単語にペナルティを与えるような目的関数の設定です。ここでは、先ほど抽出したR個の政治的立場に影響を与えるような単語の埋め込み表現をBERTにより獲得します。そして、獲得したR個の単語の埋め込み表現とSTANから出力されるベクトルの類似度を算出し、その計算を誤差関数の一つとすることで記事の政治的立場が予測に影響を与えないようにしました。

以上が STANPPの説明です。

Proposed Method 2: Multitask Attention Network (MTAN)

次にもう一つの提案手法であるMTANの説明です。MTANでは政治的立場ではなく、記事のトピックを決定づけるような単語が予測結果に与える影響を大きくすることを目的にしています。

さて、トピックを決定づけるような単語の推定ですが、研究者らが用いているデータセットにはトピックのラベルづけがなされていないため、政治的立場の時ような推定ができません。そこで、ここでは、word2vecの学習にも用いられた"binary negative sampling"を記事のタイトル(headline)に含まれる単語を予測するタスクとして適用します。各記事 $a_i$ に対して、特定の単語 $h_i$ (タイトルから抽出し、maskする)が含まれるかどうか？を予測します。

具体的には、タイトルに含まれる単語の候補となる$h_i$のリストをBERTに入力し表現ベクトル $r_{h_i}$を獲得します。次に、それを記事のAttention weight・$u_{it}$ と掛け合わせ、$g_i$を得ます。そしてそれを線形変換することで$h_i$が$a_i$のタイトルに含まれるかどうかを予測します。

Proposed Method 3: Multitask Attention Network with Polarization Penalty (MTANPP)

そして最後にSTANPPとMTANを組み合わせたMTANPPについてです。MTANPPはMTANにSTANPP独自の目的関数を足し合わせ、その目的関数は以下のように表せます。

実験結果

評価実験

ここからは前章で説明したモデルを構築したデータセットにより評価実験します。データセットは記事リストaと各記事をユーザが好むかどうかのラベルyからなります。記事リストaは二つのトピックから構成され、二つのトピック間で政治的立場が異なるようにyに対してラベル付けがなされています。

なおここで、二つのトピック1と2の比率は90%と10%としています。これはトピック2が新たに登場した時、トピック1の記事の政治的な立場に、影響されてしまうことを防ぐ、というのが今回の研究の目的の一つであるためです。

作成した45ペア全てにおいて実験を行い、検証結果の平均値を算出しています。先ほど説明したモデルに加え、先行研究で提案されたUNBERTというニュース推薦のためのテキスト表現獲得の手法も比較対象として実験を行いました。

結果

以下は評価結果になります。

評価結果を見ると、提案手法である、STANPPヤMTAN、MTANPPといったモデルは、ベースラインであるSTNやSTANと比較して、トピック2に対して、3% ~ 6%程度高いAccuracyを出す傾向にあることがわかります。また、トピック1に関しても、1% ~ 8% 程度高いAccuracyを出すことがわかりました。

まとめ

本論文では、ニュース記事の政治的立場に着目し、推薦アイテムの均質化を防ぐための、Attentionベースのニュース推薦手法を提案しました。2つのトピック間で政治的立場が逆であるユーザを想定したデータセットに対して、提案手法を適用した結果、ベースラインとなるSTNやSTANよりも高いパフォーマンスを得ることができました。

今後の課題としては、