会話型検索システムにおける、LLMによるネイティブ広告の検出とブロックの実現可能性
3つの要点
✔️ 生成型ネイティブ広告の検出：会話型検索応答に含まれる広告を特定する新しい手法を提案し、広告が含まれるバリエーションのデータセットを構築。
✔️ 広告ブロックの新アプローチ：高い再現率と精度で広告を識別するSentence Transformerと大規模言語モデルの活用を実証。大規模言語モデルによって生成される広告が、広告ブロックシステムが識別可能な一定のパターンを有することを示唆。
✔️ 広告言語の主観性と課題：広告と自然な検索結果の境界があいまいであるため、ユーザーが広告を誤認する可能性があり、偽陽性の分析からは、特定のクエリ応答において既に広告言語が使用されていることの問題を指摘。
Detecting Generated Native Ads in Conversational Search
written by Sebastian Schmidt, Ines Zelch, Janek Bevendorff, Benno Stein, Matthias Hagen, Martin Potthast
(Submitted on 7 Feb 2024)
Comments: Submitted to WWW'24 Short Papers Track
Subjects: Information Retrieval (cs.IR); Computation and Language (cs.CL)
code：
本記事で使用している画像は論文中のもの、紹介スライドのもの、またはそれを参考に作成したものを使用しております。
概要
今日、大規模言語モデルは、対話型検索エージェントや検索を強化する生成システムの構築における新しい基準となっています。しかし、これらのモデルを学習し、広範囲にわたって展開するには莫大なコストがかかり、その持続可能な運用に関してはまだ明確なビジネスモデルが確立されていません。サブスクリプションモデルも検討されていますが、伝統的な検索エンジンでの成功を見る限り、広告は収益源としては大きく、大規模言語モデルにおいても検討されることは自然な流れです。
新しい生成モデルの登場は、検索クエリに関連する製品やサービスの広告を直接、応答テキストと関連づけることで、広告の新たな機会を提供することができます。既に「ネイティブ広告」や「プロダクトプレイスメント」と呼ばれるマーケティング手法がありますが、生成モデルによって、これらが新たな次元を迎える可能性があります。しかし、一方で、アメリカ合衆国連邦取引委員会などの規制により、消費者に対して広告であることを適切に開示する必要があります。現状では、多くのユーザーがネイティブ広告を見分けることができず、有料コンテンツと有機的な検索結果の区別も難しいとされています。これは、広告と自然な検索結果の境界があいまいであるため、ユーザーに誤認させる可能性があります。
この論文では、今後の大規模言語モデルによる広告の導入を想定して、大規模言語モデルが生成したテキスト内のネイティブ広告を、大規模言語モデルによって特定し、新しい形態の広告ブロッカーとして機能する可能性について調査しています。
この論文では、大規模言語モデルがどのようにしてネイティブ広告を検出できるかについて、具体的な手法を提案し、その効果を検証しています。これには、商業的な会話型検索エンジンでの応用を想定したネイティブ広告生成システムの設計、関連するキーワードクエリの収集、そしてGPT-4を用いた検索結果のバリエーション生成が含まれています。さらに、生成されたネイティブ広告を検出するためのベンチマークデータセットを構築し、微調整されたSentence Transformerや最先端のガイド調整済みの大規模言語モデルを用いた広告ブロックの有効性を評価しています。この研究は、広告言語が従来の「自然な」応答にも存在することを明らかにし、大規模言語モデルの利用における新たな挑戦と機会を提示しています。
研究背景
現在の検索エンジン広告の研究は、広告の認識よりも広告指標の最適化に重点を置いています。具体的には、異なるクエリに対して関連性のある広告テキストを自動で生成する技術や、高いCTRが期待されるキーワード選択などに注力しています。これらの技術は、言語的品質を高め、効率的な広告配信を目指しています。
マーケティングの領域では、特にネイティブ広告とプロダクトプレイスメントという2つの広告形態に焦点を当てた研究が数多く行われています。これらの広告は、ユーザーのメディア体験を損なわないように自然なコンテンツの一部として認識されるよう意図されており、製品への親しみや好みを増やすことを目的としています。面白いことに、これらの広告形式に対して、あらかじめ認識があり、否定的な態度があるユーザーであっても、効果があることがわかっています。
特に注目すべきは、テキストがある環境における広告の効果は、テキスト内容との関連性によって高まるという点です。この特性は、大規模言語モデルと相性がよく、大規模言語モデルを活用することで自動化することができるようになります。
大規模言語モデルの「説得力」に関する研究では、従来のウェブ検索エンジンと大規模言語モデルに基づく対話型検索システムのユーザーの反応が比較されており、その結果、情報が誤っていたとしても、大規模言語モデルからの情報に対して高い信頼を示すことがわかっています。しかし、誤情報を色分けして強調することで、その認識率を大幅に向上させ、注意を向けさせることができることがわかっています。
つまり、大規模言語モデルがネイティブ広告とプロダクトプレイスメントのテキスト広告の生成に有用であり、それゆえに、ユーザーに誤った認識を植え付けてしまう危険性が高いことを示しています。しかしながら、特定の情報を色分けすることが注意喚起として有効であることもわかっています。生成対話型検索において、ネイティブ広告やプロダクトプレイスメントの検出は重要な課題となっています。
現在、、ウェブサイトから不要な広告を取り除くために多くのユーザーが広告ブロッカーに利用していますが、これらのツールは広告業界にとって脅威となっています。AdBlock PlusやAdBlockなどの一般的な広告ブロッカーは、主に動画広告やポップアップ広告を対象にしています。これらは広告サーバーに広告のリクエストを送信するJavaScriptの読み込みを防ぐか、スクリプトを読み込みながらも発信リクエストをブロックしています。しかし、生成されたテキスト応答に直接組み込まれた広告を検出しブロックするには、新たな仕組みが必要になります。
生成型ネイティブ広告のシミュレーション
私この論文では、広告をコンテンツに自然に組み込むための新しい方法として、生成型ネイティブ広告サービスの構想を紹介しています。このサービスは、広告主が希望するクエリと、その製品やブランドの特徴を直接指定できる、ガイドに基づく大規模言語モデルを利用しています。広告の自由な指定と、不適切なプロンプトの挿入を防ぐことのバランスを取ることを目的としています。また、実際にサービスを構築する代わりに、その運用がすでに始まっているかのように、生成型ネイティブ広告データセットのシミュレーションを行います。
このプロセスの第一歩として、広告が挿入されたかどうかの異なる検索強化応答のデータセットを作成しています。これには、Googleで人気のあるクエリをカバーし、銀行からワークアウトまでの広範な商業分野にまたがる「メタトピック」を10個選定しています。各トピックに対して、競争が激しいキーワードクエリを収集し、Microsoft Bing CopilotおよびYouChatを介してこれらのクエリに基づいた応答を生成しています。結果として11,303のオリジナルの応答が集められ、これらは広告のシミュレーションに使用されています。
広告の挿入は、手作業での選択とGPT-4による応答の調整の2段階に分けられ、結果として言語の多様性とクエリの関連性を高めることに成功しています。最終的に、6,041の広告付き応答が生成され、これらはROUGE-1のF1スコアで分析されています。
データセットは学習、検証、テストデータに分割され、広告の対象アイテムに関する情報が漏洩しないよう注意深く配布されています。さらに、異なる分割間でクエリの重複が最小限になるように工夫されています。この分割方法に加え、クロスバリデーションに似た形式で、各メタトピックが一度テストデータとして扱われる10のホールドアウトバージョンのデータセットも構築されています。これにより、この論文では生成型ネイティブ広告が現実のものとなる日を見据え、その効果と挑戦を詳細に検討するための基盤を築くことに成功しています。
生成型ネイティブ広告のブロック
生成型ネイティブ広告への対策として、この論文では2つの基礎的なアプローチを採用しています。1つ目は、事前学習済みのSentence Transformerを用いて、次の文を予測するタスクでファインチューニングを行っています。このプロセスでは、広告が挿入された文とその隣接文を正のペアとして、元の文を含むペアを否定のペアとして設定しています。さらに、元の応答セットから追加の否定ペアを抽出し、データセットのラベル分布を均一に保っています。この実験には、小規模モデルのall-MiniLM-L6-v2（MiniLM）と、大規模モデルのall-mpnet-base-v2（MPNet）が使用されています。これらのモデルには追加の線形層を導入し、Adamオプティマイザーとバイナリクロスエントロピー損失関数を用いて学習されています。
2つ目は、GPT-4、Mistral-7B-Instruct、そして、この論文が独自に用意したAlpaca 7Bという3つのガイドチューニングされた大規模言語モデルをゼロショット設定で適用しています。GPT-4とMistralには、クエリとその完全な応答をプロンプトとして与え、広告の対象製品や広告として特定されたテキスト部分を識別するようリクエストされています。Alpacaにはフルプロンプトの処理が難しいため、広告の対象製品の特定のみをリクエストしています。これらのアプローチは、生成型ネイティブ広告を効果的に検出し、ブロックするための有力な手段となり得ることを示しています。
性能評価
Sentence Transformer（MiniLMおよびMPNet）と、大規模言語モデルに関する評価結果は、11のテストセットそれぞれについて、下表に示されています。
これらのSentence Transformerは高い精度と再現率を達成していますが、ヘルスケアとバケーションの分野ではMiniLMは80％未満、MPNetは90％未満の精度という例外があります。この偽陰性は、主にクエリ「pncオンライン」に「PNCバーチャルウォレット」を広告するなど、クエリと密接に関連した広告が挿入された応答に由来しています。一方で、偽陽性はより多様であり、特定の語彙に焦点を当てる傾向があります。「jetbluevacations」への応答ではブランドについての広告風の言語が、一方「ladies shorts」への応答ではブランドや製品を明示的に言及しない同様のスタイルが用いられています。
大規模言語モデルの適用結果は、Sentence Transformerに比べて精度も再現率も大幅に低くなります。3つの大規模言語モデルの中でGPT-4が最高の性能を示し、AlpacaはしばしばMistralより高い再現率を達成しますが、後者はより高い精度を示しています。GPT-4とAlpacaは、精度よりも再現率が著しく高くなる傾向にあります。3つのモデル全てを用いた多数決により、混合テストセットの再現率を90.03％（対応する精度は40.85％）まで向上させることができています。偽陽性例の分析から、これらは商業的性格を持つクエリから発生していることが判明しています。「synchrony home」というクエリにおいて、GPT-4はクレジットカードの説明とシンクロニーバンクの提供リストの両方を広告として分類しています。前者はクエリに直接関連していますが、後者はそれを超える広告の性格を持つと言えるでしょう。「女性用Tシャツ」というクエリでは、大規模言語モデルが返した製品リストを広告として分類しています。これもまた、商業的なクエリに対する製品リストが広告とみなされるかどうかは個人の判断に委ねられています。
また、最も性能が良い大規模言語モデルであるGPT-4の誤予測を系統的に分析しています。偽陽性と偽陰性の例をそれぞれ50例ずつ抽出し、この論文の著者2名と学生アシスタントが手動でラベルを割り当てています。意見の不一致があった数少ないケースは、多数決で解決されています。偽陰性の場合、モデルの50の予測のうち、わずか3つが手動ラベルと一致しています。対照的に、偽陽性予測は50件中26件で一致しています。
これから、BingとYouChatの応答は、任意の挿入が行われる前に既に広告言語を使用していることが示唆されます。しかし、これはまた、広告言語の認識が少なくともある程度主観的であることも強調されています。
議論と限界
Sentence Transformerが捉えるのは、広告の対象エンティティに関する肯定的で鮮やかな記述だけではありません。GPT-4が広告とそれ以外の応答部分との「自然な」関連を見つけ出せない時、しばしば「代替」として、または「それに対して」といった表現を使って広告の対象アイテムを導入しています。その結果、この論文の研究範囲では、現時点でのGPT-4の「広告スタイル」、選んだ広告トピックス、使用した挿入プロンプトに限定されています。クエリと広告の有機的なペアへのアクセスが可能になれば、このようなパターンの出現を抑制する、より幅広い研究が可能になると考えられます。
偽陽性に対する手動での分析を通じて、挿入前から一部の応答に既に広告言語が存在することが明らかになりました。製品やブランド名を含むクエリでは、検索結果が対応する企業のウェブサイトを含むことがあり、そのアイテムが肯定的かつ広告的な方法で記述されることがあります。これらの結果が会話型検索エンジンの文脈を形成するため、応答においてそのスタイルが時々再現されます。このような文は、大規模言語モデルおよびSentence Transformerによってしばしば広告として分類されますが、これにより精度スコアが低下するものの、広告ブロックの文脈ではこれらの予測を適切と見なします。今後の研究では、外部から挿入される広告ではなく、検索結果自体から生じる広告の検出に焦点を当てるべきでしょう。
まとめ
この論文では、会話型検索システムの応答に含まれる広告を検出するという、先駆的な取り組みを紹介しています。具体的には、生成型ネイティブ広告を現実のものとし、Microsoft Bing CopilotやYouChatから得られる応答データセットを、広告が含まれるバリエーションで構築することが可能であることを実証しています。さらに、これらの広告の特定を目的としてSentence Transformerを学習することに成功し、未知の広告タイプにおいても高い再現率と精度を達成できることを示しています。これは、現時点で大規模言語モデルが生成する広告には、広告ブロックシステムが識別可能な一定のパターンが存在していることを意味しています。さらに、この論文は、生成型ネイティブ広告と、それをクライアント側でブロックすることの実現可能性を示しています。商業検索エンジンが広告を収益源に利用する場合でも対抗できる可能性を提示しています。
この記事に関するカテゴリー
