人間は大規模言語モデルが作成したフィッシングメールにどれだけ騙されるのか！？
3つの要点
✔️ 大規模言語モデルによって作成されたフィッシングメールが実際の人間に対してどれだけ有効かを検証
✔️ GPT-4と人間の手によって作成されたフィッシングメールを用いた比較実験を実施
✔️ GPT-4と人間の手を組み合わせたフィッシングメールが最も高品質であった
Devising and Detecting Phishing: Large Language Models vs. Smaller Human Models
written by Fredrik Heiding, Bruce Schneier, Arun Vishwanath, Jeremy Bernstein
(Submitted on 23 Aug 2023)
Comments: Published on arxiv.
Subjects: Cryptography and Security (cs.CR)
code：
本記事で使用している画像は論文中のもの、紹介スライドのもの、またはそれを参考に作成したものを使用しております。
はじめに
大規模言語モデル(LLM)はここ数年で飛躍的に発展し、GPT-4やClaudeのようなモデルは人間のようなテキストを生成し、一貫した会話を行い、非常に高いレベルで言語タスクを実行する能力を実証しています。
こうした大規模言語モデルは本物そっくりのテキストコンテンツを作成することに長けており、わずかなデータセットだけでそのターゲット向けに独自に作られたように見えるコンテンツを作成することができ、ある人独自の言語スタイルを模倣することさえあります。
本論文の筆者は、このような人間の文章を模倣するLLMの特性はフィッシングメール(ターゲットに関するわずかな情報を利用して、現実的で関連性があるように見える偽メール)の作成に適していることに着目しました。
本稿ではこうした背景より、112人の参加者に対してGPT-4によって自動的に作成されたフィッシングメールと人間の手によって作成されたフィッシングメールを用いた比較実験を行い、大規模言語モデルによるフィッシングメールの有効性について検証を行った論文について解説します。
フィッシングメールと大規模言語モデルの歴史
フィッシングメールは、世界中の組織・政府・機関にとって最も根強いサイバーセキュリティの脅威の1つですが、最初期のフィッシングメールの多くは情報が不適切であったり言語や文法が誤っているなど、質が高くありませんでした。
加えて効果的なフィッシングメールには、ターゲットについての線密な調査やメッセージの作成に多くの時間が必要になるなど、より多くのコストと専門知識が必要になるなどの問題点がありました。
これらの問題の緩和を目的として、これまでは下図に示すV-Triadというフィッシングメールを自動で作成するための人間による手法が用いられてきました。
V-Triadは高度にターゲット化された特定のデータに基づいて自動的にフィッシングメールを作成するためのガイドとなる、ユースケースに特化した手法になります。
一方で近年、下図に代表されるような大規模言語モデルの出現によってLLMをフィッシングメールの作成にどのように利用できるかを調査する研究に注目が集まっています。
V-Triadはあくまで手動でフィッシングメールを作成する際の補助となる手法である一方で、LLMは自動的にフィッシングメールを作成することができることから、多くの研究者が今後こうしたLLMが悪質なフィッシングメールの作成に利用されると推察しています。
一方でLLMを用いたフィッシングメールの作成に関する既存研究は、作成されたメールの分析のみに焦点を当てており、実世界のコンテキストで人間に対してメールの送信を行うといった検証はされてきませんでした。
本論文ではこうした背景から、実際に大学生を参加者とした実験デザインにより、LLMおよびV-Triadを用いて作成したフィッシングメールの比較実験を行いました。
Experiments
本論文で行った実験は、以下の4つのフェーズから構成されています。
- ハーバード大学のキャンパスとその周辺地域にチラシを掲示することで参加者を募集し、その後参加者個々人の背景情報を収集
- コントロールグループ(手動での古典的手法)・LLM(GPT-4)・V-Triad・LLM(GPT-4)+V-Triadの4つの手法を用いてフィッシングメールを作成
- フィッシングメールを参加者に送信し、その後に各参加者にその内容について自由記述で回答するように指示
- 実験結果を分析
それぞれのフェーズについて解説します。
参加者の募集
本実験では初めに、ハーバード大学のキャンパスとその周辺地域にチラシを掲示し、サークル等の大学関連の様々なグループに募集メールを送ることで参加者を集めました。
参加者は研究に申し込む際、参加している課外活動・最近購入したブランド・定期的に受け取っているニュースレターといった自分自身についての背景情報に回答するように求められました。
また参加者自身には、上記の背景情報をマーケティングメールの送信に使用するとだけ伝えられており、この時点では参加者がフィッシングメールの実験に参加させられること自体は伝えられていません。
その後参加者をランダムに4つのグループに分け、それぞれのグループごとに異なる手法で作成されたフィッシングメールを送信しました。
フィッシングメールの作成
本実験では、コントロールグループ(手動での古典的手法)・LLM(GPT-4)・V-Triad・LLM(GPT-4)+V-Triadの4つの手法を用いてフィッシングメールを作成し、参加者への送信を行いました。
それぞれのグループには主にスターバックスの顧客をターゲットにしたフィッシングメールの作成を指示しており、古典的手法で作成されたフィッシングメールは下図のようになりました。
次にLLM(GPT-4)を用いて、"Create an email offering a $25 gift card to Starbucks for Harvard Students(ハーバードの学生にスターバックスの25ドルのギフトカードを提供するEメールを作成しなさい)"といった内容のプロンプトにより、下図に示すようなギフトカードにアクセスさせるためのフィッシングメールが作成されました。
その結果、ある程度品質の良いフィッシングメールが作成されましたが、ハーバード大学の学生について特に言及されていないなどの問題点も見つかりました。
次に前述したV-Triadに従って下図に示すフィッシングメールが作成されました。
こちらはEメールにロゴを追加し、書き込む内容を短し言葉を丁寧にすることで、信頼性のある高品質なフィッシングメールになっている事が確認できます。
最後に、LLM(GPT-4)とV-Triadを使用した複合的なアプローチを用いて下図に示すフィッシングメールを作成しました。
こちらはLLM(GPT-4)を用いて、"Create an email offering a $25 gift card for Harvard Students to Starbucks, with a link for them to access the QR code, in no more than 150 words(ハーバードの学生にスターバックスのギフトカードを提供するEメールを、QRコードにアクセスするためのリンクとともに150字で作成しなさい)"といった内容のプロンプトにより作成されたメールに対して、V-Triadによる修正を行うことでメールの品質を高めています。
また、参加者が実際にリンクを押した場合、そのメールはスターバックスから送信されたものではなく、実験に属するものであるという内容の説明が表示されるようになっています。
実験結果の分析
実験の結果、各手法のフィッシングメールの成功率は以下のようになりました。
112人の参加者のうち、77人がフィッシングメールのリンクを押す結果となり、V-Triadが最も高い成功率を達成した一方で、V-Triad+GPTがそれに次ぐ成功率になっていることが確認できます。
加えてフィッシングメールを受け取った後、各参加者にメール内のリンクを押したもしくは押さなかった理由を自由記述で回答するよう指示し、筆者たちはその回答結果を以下の6つのグループに分類しました。
- Trustworthy/Suspicious presentation(信頼できる/疑わしいプレゼンテーション)
- Legitimate/Suspicious spelling and grammar(言葉遣いや文法の良し悪し)
- Attractive/Suspicious CTA (魅力的な/疑わしい行動喚起)
- The reasoning/purpose seems legitimate/suspicious(正当な/疑わしい理由や目的)
- Relevant/Irrelevant targeting(関連性のある/ないターゲティング)
- Trustworthy/Suspicious sender(信頼できる/疑わしい送信者)
調査の結果、フィッシングメールが信頼できるものであったと回答した参加者の自由記述の分布は下の図のようになりました。
図に示されるように、V-Triadにより作成されたフィッシングメールに対する信頼性が最も高い一方で、GPTおよびV-Triad+GPTによるフィッシングメールは同程度の信頼性を得ていた事が確認できます。
一方、フィッシングメールが疑わしいものであったと回答した参加者の自由記述の分布は下図のようになりました。
ここで注目すべき点は、GPTによって作成されたフィッシングメールは疑わしいものであったと回答した参加者が多かった一方で、V-Triad+GPTによって作成されたフィッシングメールに対して疑わしいものであったと回答した参加者が少なかった点です。
この結果から、単にGPT-4などのLLMを用いるよりも、LLMとV-Triadなどの人間による修正を組み合わせる事でより高品質なフィッシングメールを作成できることが実証されました。
まとめ
いかがだったでしょうか。今回は、112人の参加者に対してGPT-4によって自動的に作成されたフィッシングメールと人間の手によって作成されたフィッシングメールを用いた比較実験を行い、大規模言語モデルによるフィッシングメールの有効性について検証を行った論文について解説しました。
本論文で行われた実験によりLLMをフィッシングメールの作成に用いることの有効性が実証された一方で、同じ内容のフィッシングメールにも関わらず、個々人によって結果がバラバラであったことが確認されました。
これはユーザーがフィッシングメールによる被害に合わないようにするための画一的なアプローチには効果がないことを示しており、今後のフィッシングメールへの対策に大きな示唆を与える結果になったと言えます。
筆者たちはこの結果から、フィッシングメールに対策するために各ユーザーの知識や認知スタイルに合わせて大規模言語モデルをパーソナライズさせる方法を模索していると記述しているため、今後の進展に注目です。
今回紹介したモデルや実験結果の詳細は本論文に載っていますので、興味がある方は参照してみてください。
この記事に関するカテゴリー
