提高谷歌广告的质量：使用 LLM 进行内容审核
三个要点
✔️ 先进的内容审核方法：提出了一种可扩展的端到端解决方案，使用大规模语言模型对谷歌广告进行高效的内容审核。
✔️ 高效检测违反广告政策的行为：在检测违反 "非家庭安全 "政策的行为方面，通过从大量广告图片中快速、高精度地识别违反政策的行为，取得了比以往模型更好的效果。
✔️ 扩展技术的应用范围和未来前景：不仅限于图像，还可扩展到视频、文本和登陆页面等各种模式和广告政策；持续优化提高了内容审核的准确性和效率。
Scaling Up LLM Reviews for Google Ads Content Moderation
written by Wei Qiao, Tushar Dogra, Otilia Stretcu, Yu-Han Lyu, Tiantian Fang, Dongjin Kwon, Chun-Ta Lu, Enming Luo, Yuan Wang, Chih-Chun Chia, Ariel Fuxman, Fangzhou Wang, Ranjay Krishna, Mehmet Tek
(Submitted on 7 Feb 2024)
Comments: Published on arxiv.
Subjects: Information Retrieval (cs.IR); Computation and Language (cs.CL); Machine Learning (cs.LG)
code：
本文所使用的图片要么来自论文、介绍性幻灯片，要么是参考这些图片制作的。
概述
它介绍了一种使用大规模语言模型的端到端解决方案，该方案可进行扩展，以改进谷歌广告的内容审核。本文还介绍了使用大规模语言模型和计算资源审查规模的背景。然后，它介绍了应对这一挑战的解决方案，并报告了在应用谷歌广告政策的平台上取得的成果。本文还讨论了未来的改进和可扩展性。
本文的主要目的是在广告拍卖之前，高精度地检测所有广告流量中违反谷歌广告政策的情况。虽然该技术最初只应用于图片广告，但该方法具有可扩展性，可应用于任何模式或广告格式。换句话说，它不仅适用于大规模语言模型，也适用于大规模视觉语言模型。
由于需要大量的计算资源，使用大规模语言模型对整个图像广告流量进行建模也是不切实际的。由于人工审核的带宽有限，收集注释数据用于微调和训练小规模模型的成本也很高。因此，我们利用谷歌现有的大规模语言模型，通过及时的工程设计和调整，开发出了适用于广告内容建模的高质量大规模语言模型，并找到了以最少的计算资源最大限度地利用该模型的方法。特别是，我们正在测试这种方法对 "非家庭安全 "广告内容政策（限制性暗示、性产品、裸体等）的有效性，这是保护用户、广告商和媒体的一项关键政策。
方法
本文介绍的方法结合了审查候选者漏斗、大规模语言模型标记、标签传播和反馈回路。下图给出了相关概述。
首先，利用内容和演员相似性、基于非大规模语言模型得分的选择、重复数据删除、基于活动的过滤和基于集群的抽样等各种流程对广告流量进行分流，以减少内容处理量。减少需要处理的内容数量。随后是推理（LLM 标签），对大规模语言模型进行及时的工程设计和参数优化。标签传播（Propagation）使用基于内容相似性的技术来提高效率。最后，从通过直接 LLM 标记和标签传播标记的图像中，通过对初始漏斗标记步骤的反馈循环（反馈循环），选择与下一次漏斗标记中已标记图像相似的候选图像，以确保大规模语言模型的覆盖范围扩展到整个图像广告流量。
审查候选内容的筛选利用各种启发式方法和信号来检测潜在的政策违规行为。在这一阶段，大规模语言模型处理的内容数量会通过过滤和多样化采样而减少。内容相似性是通过将标签传播到基于先前标记的违反政策图像的相似图像来构建相似性图的。它还通过从违反政策的账户中收集广告图片来考虑行为者的相似性。此外，还使用预先训练好的非大规模语言建模模型来选择分数高于给定阈值的候选图片。
对于使用大规模语言模型（LLM 标签）进行推理，有几种策略可以有效地使大规模语言模型适应特定任务，其中包括提示工程和参数效率调整。在提示工程中，针对大规模语言模型的问题都是经过精心设计的。另一方面，参数效率调整涉及在标注数据集上进行微调，以确保参数适合任务。在本文中，我们利用上下文学习的强大功能，将提示工程与参数高效调整相结合，开发出了高性能、符合政策的大规模语言模型。提示工程和软提示调整由政策专家手动完成，以生成适合生产系统的最终提示。
在标签传播（Propagation）和反馈回路（Feedback Loop）中，标签从大规模语言模型标记的候选图像传播到之前流量中看到的已存储图像的相似图像。在此过程中，由选定的大规模语言模型标记的图像作为已知图像存储，而标签则分配给足够相似的新图像，这些图像被视为近似重复图像。大规模语言模型直接或间接标注的所有图像都会在审查候选者选择阶段加载，并作为初始已知图像使用，作为基于内容相似性的扩展，在大规模语言模型的下一轮审查中，相似图像作为潜在候选者进行识别。
结果
本文将该技术应用于过去 30 天内收集的 4 亿张广告图片。在此过程中，首先使用漏斗技术将目标图片大幅缩小到 0.1% 以下，具体为 40 万张图片。然后，所有这些图片都要经过大规模语言模型的精确审查。经过标签传播后，获得好评的广告数量翻了一番，这表明该技术可以对几乎两倍于使用传统多模态、非大规模语言模型的图片进行标签处理。值得注意的是，在 "非家庭安全 "广告政策方面，该方法的准确性也优于传统模型。总体而言，该方法使违反相关政策的图片广告减少了 15% 以上。
该公司表示，目前正在将这种方法扩展到图像之外，旨在将其应用到视频、文本和登陆页面等其他广告内容以及更广泛的广告策略中。他们还在努力提高整个管道的质量，例如改进漏斗流程、进一步调整大型语言模型提示以及使用高质量嵌入更有效地传播相似性。预计内容审核的准确性和效率将进一步提高。
摘要
大规模语言模型是内容审核中非常有效的工具，但在谷歌广告等拥有大量数据的情况下，高推理成本和延迟是一个挑战。在本文中，我们提出了如何利用大规模语言模型来有效地扩展谷歌广告的内容审核。
具体来说，该方法使用过滤和去重法创建广告集群，从每个集群中选择有代表性的广告，并使用大规模语言模型仅审查这些有代表性的广告。此外，通过将代表性广告的大规模语言建模决策应用于整个集群，与传统的非大规模语言建模相比，需要审核的广告数量大大减少，召回率提高了一倍。这种方法的成功在很大程度上取决于用于聚类和标签传播的数据表示方法，特别是跨模式相似性表示法显然比单一模式表示法产生更好的结果。
这种方法将在未来提高识别和消除不当广告的能力，并改善用户体验。除广告外，该技术还可用于新闻文章验证、社交媒体监测和教育材料评估等多个领域。本文的成果可能会引发更广泛的讨论，不仅涉及技术改进，还涉及社会影响和伦理考虑。
与本文相关的类别
