【Google開発】機械学習システムにおけるプライバシー保護を高速に監査する手法
3つの要点
✔️ 機械学習システムがプライバシーを守れているかを監査するには、”データセットの1つのデータの操作”と”モデル訓練”を数百回実行する必要があった
✔️ たった1回のモデルの訓練で、機械学習システムのプライバシー監査ができる手法を提案
✔️ データセットのうち、1つではなく複数のデータを操作しても、監査できることを理論的に示し実験で評価
Privacy Auditing with One (1) Training Run
written by Thomas Steinke, Milad Nasr, Matthew Jagielski
(Submitted on 15 May 2023)
Comments: Published on arxiv.
Subjects: Machine Learning (cs.LG); Cryptography and Security (cs.CR); Data Structures and Algorithms (cs.DS)
code：
本記事で使用している画像は論文中のもの、紹介スライドのもの、またはそれを参考に作成したものを使用しております。
はじめに
大規模言語モデルの成功により、その先の汎用人工知能への期待値が高まっていますが、そのような人工知能が可能かという技術的な問題とは別に、社会的な問題も出てきています。
たとえば、著作権の問題です。AIは、瞬時に指定した絵を描くことができますが、その絵の元となるのは、誰かが描いた絵であるので、著作権が存在します。著作権以外にも、社会的にいろいろな権利の問題が浮かび上がってきています。
そのようなAIを取り巻く社会的な問題の中で、今回の論文で取り扱うのは、プライバシーの問題です。ＡIが学習するデータには、著作権だけでなく、個人情報を含みます。たとえば、病院の患者さんのデータを集約することで、病気の診断の高精度化などに用いることはできると思いますが、多分に個人情報を含むのでプライバシーの観点で活用に難があると思われます。ほかにも、顧客データを学習した機械学習システムが攻撃にあって、個人情報がリークすることがあったとしたら、企業の不祥事としてニュースになってしまうでしょう。
大企業ほどそのような社会問題に対する姿勢を問われやすく、意識が高いので、AppleやGoogleなども、プライバシー保護は注目するところになります。
今回の論文は、Googleが、AI×プライバシーの問題を技術の力で解決するものです。
統計分析×プライバシーにおいては、「差分プライバシー」という概念が2006年に提案されています。差分プライバシーは、プライバシーが守られているとは数学的にどういうことかを定義したものになります。差分プライバシーには、ε、δというパラメータがあり、ε、δの値がプライバシー保護レベルを表します。したがって、ε、δを小さくできるようなアルゴリズムがプライバシーを守れているアルゴリズムになります。
このε、δの数学的な解析により、ε、δの上限は示されています。しかし、数学的な解析だけでは、数学的な解析自体に誤りがあるかどうかを検証できません。そこで、数学的な解析が正しいかどうかを”監査”するために、実験的にε、δの取りうる範囲を推定する「差分プライバシー監査」という手法が提案されています。
従来手法の問題として、データセットのうち1データを出し入れして何度も学習を繰り返さないと、ε、δの取りうる範囲を推定できないという点があります。
そこで、本論文では、たった一回学習すれば、ε、δの取りうる範囲を推定できる手法が提案されています。これは、複数の学習データを独立して追加または削除できる並列性を利用しています。
提案手法は、アルゴリズムに必要な仮定を最小限に抑えており、汎用的な手法になっているので、監査対象の機械学習システムをブラックボックスに監査する設定とホワイトボックスで監査する設定の両方において適用可能です。
提案手法でDP-SGD（差分プライバシーを満たすアルゴリズムの一つ）を監査した場合、一回のモデル訓練で実験的にプライバシー下限（ε）を計算できることを示しています。
差分プライバシー
機械学習システムに個人情報を含むデータセットを学習させた際に気を付けるべきことは、機械学習システムへの悪意のある攻撃で個人情報が流出しないように対処しておくことです。個人のプライバシーを守りつつ、機械学習システムによって得られる有益な統計的示唆を社会で活用できるように、差分プライバシー（differential privacy）という概念が生まれています。
機械学習システムM（以降、単にアルゴリズム、もしくは監査対象のアルゴリズムと呼びます）が(ε,δ)-DP（差分プライバシー）を満たすとは、ある一人のデータが追加されたか、削除されたかの違いを持つ任意の入力ペアx,x'と任意の測定可能な集合Sに対して、以下の条件が成り立つことを意味します。
これは、データxが、そこからある一人のデータの追加、削除によって、データx'になった場合でも、アルゴリズムの出力が大きく変わらないことを保証するものです。P[M(x)∈S]はアルゴリズムMにデータxを与えた場合に、Sに属する出力を生成する確率を表しています。抽象的でイメージしにくいのですが、ＭRI画像xを学習して、腫瘍の有無を分類する画像分類システムがあったとして、腫瘍有クラスSという分類結果を返す確率と考えればよいかもしれません。
式のεとδは、プライバシーの保護レベルを左右するパラメータとなっています。理解の容易化のため、ε=0かつδ=0のときを考えてみると、たとえば、MRI画像xに対しては腫瘍ありという結果を返す確率とMRI画像x'に対して腫瘍ありという結果を返す確率が一致するということです。
つまりは、特定の個人のデータにシステムの出力が依存していません。このシステムの出力から個人のデータを抽出しようとするのは難しいので、プライバシーを守れていることになります。
逆に、ε、δが大きな値を取る場合、分類結果が変わってしまうことを意味し、特定の個人のデータにシステムが依存してしまっているということになります。そのため、攻撃者によってシステムの入出力を解析され、個人情報が吸い出される可能性がありえてしまいます。
したがって、具体的に、このεとδの値はがどうなるか、言い換えれば、どのくらいプライバシーが守られるかが知りたくなります。εとδの値がピンポイントでこの値になるとは言えませんが、アルゴリズムによっては、数学的にε、δの理論的な上限が数学的な解析で明らかになっています。
差分プライバシー監査
先ほどは、機械学習システムがプライバシーを守れるかを数学的に定義した差分プライバシーという概念があることを説明しました。差分プライバシーが守れているかを実験的に確認するのが、差分プライバシー監査です。
差分プライバシー監査をやりたい理由は2つです。
1つ目は、数学的な解析がタイトかどうかを調べ、改善につなげることです。たとえば、下限というのは、その値以上の値を取るということです。極論を言えば、下限は－∞と言っておけば、基本間違ってはいないということにはなります。逆に、下限は∞といってしまうと、さすがにもっと小さくできるだろうということになり間違っている可能性が高いです。真の下限、言い方を変えれば、最も大きな下限を示せるかが数学的な解析の腕の見せ所になります。
2つ目は、数学的な解析や実装の誤りを検出するということです。数学的な解析において式の導出ミスや計算ミスがあるかもしれません。実装したアルゴリズムに誤りがあるかもしれません。これらを実際に確かめるには、実験してみるしかありません。
従来の差分プライバシー監査の問題
従来の差分プライバシー監査は、式1に出てくる確率を実験的に直接推定しようとします。
そのためには、ある一つのデータを入れるか、除外するかのデータセットを作成し、数百回アルゴリズムMを実行します。
その結果から、P[M(x)∈S]、P[M(x')∈S]を推定し、両者の確率分布がどれだけ離れているかを確認し、ε、δの下限を求めます。
このように、数百回アルゴリズムを実行するには、計算時間がかかってしまいます。
大規模な機械学習システムを監査対象とした場合、明らかに実用的ではありません。
提案の差分プライバシー監査のアイデア
ここで、素朴に疑問に思うのが、数百回アルゴリズムMを実行するから、計算時間がかかってしまうのならば、
「一回アルゴリズムMを実行するだけで、差分プライバシー監査ができればよいのではないか、それはできるのか？」です。
本論文では、この疑問に答え、数学的な解析だけでなく、実際の実験で、効果を示しています。
提案のアイデア実現方法
一回アルゴリズムMを実行するだけで差分プライバシー監査を実現する方法はシンプルです。
ある一つのデータを含めるか、除くかを考える代わりに、複数のデータを含めるか、除くかを考えます。
監査手法のアルゴリズムをアルゴリズム1に示します。
アルゴリズム1には9行の説明がありますが、実質的には、4行目から7行目、9行目が具体的な手法の中身と考えてよいと思いますので、4行目から7行目、9行目について説明します。
提案の監査手法では、まず、必ず含めるn-m個のデータ（非監査対象のデータ）と、ランダムに含めるか、除くm個のデータ（監査対象のデータ）を用意します。
監査対象のデータについて、偏りのないm個のコインを独立に投げて、各監査対象のデータを含めるか、除くか（選択集合Ｓ_i ∈ {-1,１} 、S_i=1は含める、S_i=0は除くこと示す記号）決めます（アルゴリズム1の4行目）。
含めるとしたデータx_INに対して監査対象のアルゴリズムを実行してから、アルゴリズムにｘ_i ∈ x_INを入力し、アルゴリズムの出力w_iを得ます（アルゴリズム1の5行目）。機械学習システムの場合、データx_INを学習してから、学習済みの機械学習システムにx_iを入力して、出力w_iを得ていると考えればよいかもしれません。
このw_iからコインの裏表がどうだったのか（データ選択の有無）を予測していきます（予測結果はT_i ∈{-1,0,1}）。具体的には、まず、ｘ_iとw_iからスコアYを計算します（アルゴリズム1の6行目）。このスコアYから、x_iが学習データとして含まれていたか、否かを当てます。そして、スコアYの大きい方からｋ_+個のスコアに対しＴ_i＝+1を予測します。小さい方からk_-個のスコアに対しT_i=-1を予測します。残りのスコアにT_i=0を予測します（アルゴリズム1の7行目）。
ここで、T_i=0があるのは、確度高く予測できないのであれば、無理して予測はしないと考えればよいかもしれません。
また、スコアのソート結果からデータの選択有無を予測することの是非に関しては、スコアが良いのは学習データに含まれていたからで、スコアが悪いのは学習データに含まれていなかったからと考えられるから、と解釈するとわかりやすいかもしれません。
提案の監査手法は、最終的に、真の選択データSとそのデータ選択有無の予測Tを返します（アルゴリズム1の9行目）。
この監査手法自体は、今説明したように、真の選択データSとそのデータ選択有無の予測Tを最終的に返すだけです。最初に話していた差分プライバシーのεパラメータの推定と一見全然関係していないように見えます。
しかし、本論文では、監査対象のアルゴリズムがεDPであるならば、そのデータ選択有無の予測の精度は、せいぜい(eのε乗)/(eのε乗+1）になることが数学的な解析により示せており、そこからεパラメータの推定が可能です。
どういうことかというと、実際に提案の監査手法を監査対象のアルゴリズムに適用することで、データ選択有無の予測精度は計算できます。すると、数学的な解析によれば、その結果（データ選択有無の予測精度の計算結果）よりも（eのε乗）/（eのε乗+1）は大きくなります。差分プライバシーのパラメータであるεはおのずと、ある一定値以上でないとつじつまが合わないことになります。つまり、εの下限を推定できるということだと思われます。
評価結果
機械学習モデルの訓練手法の一つに確率的勾配降下法（SGD)があります。差分プライバシーを満たすSGDとして、DP-SGDがあります。今回は、提案手法で、このDP-SGDの監査を実施し、差分プライバシーパラメータのεの下限を推定し、どれだけ理論値と近いのかを確認します。
監査の問題設定としては、ホワイトボックス設定とブラックボックス設定があります。ホワイトボックス設定は、監査手法がDP-SGDによる訓練過程も見られ,任意の勾配に介入できるという設定です。そうでない設定がブラックボックス設定です。本論文では、ホワイトボックス設定は、DP-SGDに強い影響を与える強い”攻撃”の設定で、ブラックボックス設定はDP-SGDに与える影響としては最も弱い”攻撃”と述べられています。
ホワイトボックス設定での評価結果を図1に示します。
横軸、εの理論値、縦軸、εの予測値です。図の赤点線が理論値のグラフなので、この線に近いほど、理論値に近いεの推定ができていることになります。
図のmは、監査対象のデータ数になります。監査対象のデータが増えるほど、赤点線のグラフに近づいていることが分かります。提案の監査手法でεの推定精度上げるには、監査対象のデータ数を増やす必要がありそうです。ただし、単純にデータ数を増やせば、その分赤点線に近づくわけではなく、m=1000（橙）、m=5000（青）のグラフをみると、相対的に多くのデータ数を積み増しているはずなのに、赤点線にあまり近づきません。
ブラックボックスの設定での評価結果を図2に示します。
図の見方は、ホワイトボックス設定の時と同じです。ブラックボックス設定の場合、ホワイトボックス設定に比べ、εの推定精度が低い傾向が見られます。また、監査対象のデータ数mを増やしすぎると、逆にεの推定精度に劣化が見られます。
本論文では、監査対象データが少ない時は、εの高信頼下限は得るのに十分な観測データがなく、監査対象データが多すぎるときは、εの推定精度を上げる監査対象データをモデルが記憶しきれないのではないかと考察されています。そもそもεの推定精度があまり良くない傾向については、ブラックボックスの設定では攻撃が弱すぎて（監査が緩すぎて）、プライバシーが守れているように見てしまっている可能性もあると考察されています。
おわりに
今回解説した論文では、昨今の社会のプライバシー意識の向上に伴い社会的な需要のある、機械学習システムのプライバシー保護技術について解説しました。
本論文は、AIのトップカンファレンスであるNeurIPS 2023で優秀論（Outstanding Main Track Paper）に選ばれています。レビュワーのコメントとしては、妥当性（Soundness）の観点でエクセレントという評価と共に、理論解析が実用性につながった稀有な例と評していました。
実用上数百回モデルの学習をしないとプライバシーの保護レベルを表すεが推定できなかったわけですが、一回のモデルの学習からでもεの推定ができることを理論解析で示し、速度改善による実用性向上につなげていることを指しているのだと思われます。
一方で、今回解説した評価結果においては、理論値と同等なレベルでεの推定ができているわけではなかったので、今後の精度の改善に期待したいところです。
また、通常、提案手法の限界（limitations）つまりは、自分の提案手法の欠点については、あまり目を向けたくないものですが、提案手法の限界についても十分な考察を行っている点が高く評価されていました。
高い数学的な解析能力があるからこそなせる部分も大いにあると思いますが、研究者、技術者が見習うべき誠実さがあると思いました。
この記事に関するカテゴリー
