[谷歌开发] 在机器学习系统中审计隐私保护的快速方法

隐私 11/03/2024

三个要点
✔️ 审计机器学习系统是否保护隐私过去需要 "操作数据集中的单个数据 "并进行数百次 "模型训练"
✔️ 仅提出了一种只需进行一次模型训练即可审核机器学习系统隐私的方法。
✔️ 经过理论论证和实验评估，可以对一个数据集进行不只一次而是多次的数据操作审核。

Privacy Auditing with One (1) Training Run
written by Thomas Steinke, Milad Nasr, Matthew Jagielski
(Submitted on 15 May 2023)
Comments: Published on arxiv.
Subjects: Machine Learning (cs.LG); Cryptography and Security (cs.CR); Data Structures and Algorithms (cs.DS)

code：

本文所使用的图片要么来自论文、介绍性幻灯片，要么是参考这些图片制作的。

介绍

大规模语言建模的成功提高了人们对除此之外的通用人工智能的期望，但除了这种人工智能是否可能的技术问题之外，还有一些社会问题需要解决。

例如版权问题：人工智能可以立即画出你指定的一幅画，但这幅画的原作是别人画的，因此存在版权。除了版权，社会上还出现了其他各种权利问题。

在围绕人工智能的这些社会问题中，本文所要解决的是隐私问题：人工智能学习的数据不仅包含版权信息，还包含个人信息。例如，汇总医院病人的数据可用于提高疾病诊断的准确性，但从隐私角度来看，这很难利用，因为其中很可能包含个人信息。如果学习客户数据的机器学习系统受到攻击并泄露个人信息，这将成为企业丑闻的新闻。

规模较大的公司更容易被质疑对此类社会问题的态度，也更了解这些问题，因此隐私保护将成为苹果、谷歌等公司的关注重点。

在本文中，谷歌用技术的力量解决了人工智能 x 隐私的问题。

在统计分析 x 隐私方面，2006 年提出了"差异隐私 "的概念。差分隐私是对隐私保护的数学定义。差分隐私有参数 ε 和 δ。因此，能够减少 ε 和 δ 的算法就是隐私保护算法。

对 ε 和 δ 的数学分析提供了 ε 和 δ 的上限。然而，仅靠数学分析无法验证数学分析本身是否有问题。为了 "审计 "数学分析是否正确，有人提出了一种称为 "差分隐私审计 "的方法，通过实验来估计ε和δ的可能范围。

传统方法的一个问题是，如果不多次重复使用一个数据集进行训练，就无法估算出 ε 和 δ 的可能范围。

因此，本文提出了一种方法，只需一次训练就能估计出 ε 和 δ 的可能范围。这种方法利用了并行性，可以独立地添加或删除多个训练数据。

所提出的方法适用于被审计机器学习系统的黑盒和白盒审计设置，因为它最大限度地减少了算法所需的假设，使其成为一种通用方法。

当使用所提出的方法对DP-SGD（满足差分隐私的算法之一）进行审计时，结果表明，只需进行一次模型训练，就能计算出实验隐私下限（ε）。

差分隐私

当机器学习系统在包含个人数据的数据集上进行训练时，应注意确保个人数据不会在对机器学习系统的恶意攻击中暴露。为了让社会能够利用机器学习系统提供的有用统计建议，同时保护个人隐私，出现了差别隐私（differential privacy）的概念。

机器学习系统 M（以下简称为算法或审计中的算法）满足 (ε,δ)-DP（差分隐私），如果对于任何输入对 x、x'和任何可测量集合 S（其中有某个人的数据被添加或删除的差异），满足以下条件满足，当且仅当

P[M(x)∈S]表示给定数据 x 的算法 M 产生属于 S 的输出结果的概率。虽然抽象且难以可视化，但可以将其视为一个图像分类系统的概率，该系统从核磁共振成像图像 x 中学习并对是否存在肿瘤进行分类，并返回带有肿瘤的 S 类分类结果。

等式中的参数 ε 和 δ 会影响隐私保护的程度。为了便于理解，请考虑 ε = 0 和 δ = 0 的情况，例如，这意味着返回 MRI 图像 x 存在肿瘤结果的概率等于返回 MRI 图像 x' 存在肿瘤结果的概率。

这意味着系统的输出不依赖于特定个人的数据。很难从该系统的输出中提取个人数据，这意味着隐私得到了保护。

反之，如果 ε 和 δ 取大值，则意味着分类结果发生变化，系统依赖于特定个人的数据。因此，攻击者有可能分析系统的输入和输出，并提取个人数据。

因此，具体地说，我们想知道ε和δ的值是多少，换句话说，隐私保护的程度是多少：我们不能说ε和δ的值一定会精确到这些值，但根据算法的不同，ε和δ的理论上限可以通过数学分析来揭示。请访问

差异化隐私审计

早些时候，我们曾解释过 "差异隐私 "这一概念，它从数学角度定义了机器学习系统能否保护隐私。差分隐私审计是一种检查差分隐私是否得到保护的实验方法。

要进行差异化隐私审计有两个原因。

首先是找出数学分析是否严密，并加以改进。例如，下限是指取值大于或等于该值。在极端情况下，如果说下限是-∞，基本上不会错。另一方面，如果你说下限是 ∞，你很可能是错的，因为确实有可能把它变小。真正的下限，或者换一种说法，可以证明的最大下限，是数学分析技巧发挥作用的地方。

二是发现数学分析和实施中的错误。数学分析中的公式推导或计算可能存在错误。执行算法中也可能存在错误。在实践中，确定这些错误的唯一方法就是进行实验。

传统差别隐私审计的问题

传统的差分隐私审计试图通过实验直接估算等式 1 中出现的概率。

为此，请创建一个包含或不包含单个数据的数据集，并运行算法 M 几百次。

根据结果，我们估算出P[M(x)∈S] 和 P[M(x')∈S]，检查它们的概率分布相差多远，并找到 ε 和 δ 的下限。

因此，运行该算法几百次需要计算时间。

对大型机器学习系统进行审计显然是不现实的。

提出差异化隐私审计思路

这里的问题很简单：如果因为运行了 M 算法数百次而耗费了如此多的计算时间、

如果我们只需运行一次算法 M，就能进行差分隐私审计，那该多好啊！我们能做到吗？是的。

本文不仅通过数学分析，还通过实际实验回答了这一问题，并展示了其效果。

如何实现提案的想法

只需运行一次算法 M 就能实现差分隐私审计的方法很简单。

与其考虑是否包含或排除一项数据，不如考虑是否包含或排除多项数据。

审计方法的算法如算法 1 所示。

算法 1 包含九行解释，但实际上，第 4 至 7 行和第 9 行可视为具体方法的实质内容，因此对第 4 至 7 行和第 9 行进行了解释。

在建议的审核方法中，首先有 n-m 个必须包含的数据（未经审核的数据）和 m 个随机包含或排除的数据（经审核的数据）。

对于要审计的数据，要独立掷出 m 枚无偏差的硬币，以决定是否包含或排除每个审计数据（选择集 S_i ∈ {-1,1} ，符号表示 S_i=1 则包含，S_i=0 则排除）（算法 1 第 4 行）。

在您选择纳入的数据 x_IN 上运行要审计的算法后，您将 x_i∈x_IN 输入算法并获得算法的输出 w_i（算法 1 的第 5 行）。就机器学习系统而言，可以认为是先学习数据 x_IN，然后将 x_i 输入经过训练的机器学习系统，从而获得输出 w_i。

根据 w_i，我们可以预测硬币的反面是什么（数据选择与否）（预测结果为 T_i∈ {-1,0,1}）。具体来说，我们首先根据 x_i 和 w_i 计算得分 Y（算法 1 第 6 行）。根据得分 Y，我们可以猜测 x_i 是否被列为训练数据。然后根据较大的得分 Y 预测 k_+ 得分的 T_i =+1。从较小的一端预测 k_- 分数，T_i=-1。预测其余分数的 T_i=0 （算法 1 第 7 行）。

在这里，T_i=0 可以被认为是指如果不能十分肯定地预测，那么就不应该强行预测。

至于根据分数的排序结果来预测数据是否被选中的利弊，可能更容易理解的是，分数好是因为它们被包含在训练数据中，分数差是因为它们没有被包含在训练数据中。

建议的审核方法最终会返回真正的选定数据 S 及其对是否存在选定数据的预测 T（算法 1 第 9 行）。

如上所述，审计方法本身最终只会返回真实的选择数据 S 和对其数据选择存在或不存在的预测 T。这似乎与我们一开始谈到的差分隐私的ε参数估计完全无关。

然而，本文通过数学分析表明，如果被审计的算法是一个εDP，那么其数据选择存在/不存在的预测精度最多为（e的ε次方）/（e+1的ε次方），由此可以估算出ε参数。

这意味着，通过将所提出的审核方法实际应用于待审核的算法，可以计算出数据选择存在/不存在的预测准确性。然后，根据数学分析，（e 的ε次方）/（e+1 的ε次方）将大于结果（数据选择存在/不存在的预测准确性计算结果）。差分隐私参数 ε 自然必须高于某个值才能保持一致。这意味着ε 的下限可能可以估算出来。

评估结果

概率梯度下降法（SGD）是机器学习模型的训练方法之一。DP-SGD 是一种满足差分隐私的 SGD。在本文中，我们使用所提出的方法对这种 DP-SGD 进行审计，以估计差分隐私参数 ε 的下限，并观察其与理论值的接近程度。

审计问题设置有两种类型：白箱设置和黑箱设置。白箱设置是指审计方法也可以通过 DP-SGD 观察训练过程，并可以在任何梯度上进行干预。而黑盒设置则不然。在本文中，白箱设置被描述为对 DP-SGD 有强烈影响的强 "攻击 "设置，而黑箱设置则是对 DP-SGD 影响最弱的 "攻击 "设置。黑盒子设置被描述为对 DP-SGD 的最弱 "攻击"。

白盒环境下的评估结果如图 1 所示。

横轴，ε 的理论值；纵轴，ε 的预测值。图中红色虚线为理论值，因此越靠近这条线，ε 就越接近理论值。

图中的 m 是要审计的数据数量。可以看出，审核的数据越多，图表越接近红色虚线。为了提高使用建议的审核方法估算 ε 的准确性，似乎有必要增加审核数据的数量。然而，仅仅增加数据数量并不一定会使图形更接近红色虚线，观察 m=1000 （橙色）和 m=5000 （蓝色）的图形，尽管数据数量应该相对较多，但图形并没有非常接近红色虚线。

图 2 显示了黑盒环境下的评估结果。