LLM 广告平台的未来！大规模语言模型的新商业模式和新个性化广告的潜力

大型语言模型 30/04/2024

三个要点
✔️ 关于利用大规模语言模型的广告系统的建议：提出了利用大规模语言模型的广告系统的几种框架，并比较了每种方法的优缺点。为讨论在线广告的未来提供了机会。
✔️ 探讨利用大规模语言模型的广告系统的基本要求：利用大规模语言模型的实用广告系统应满足的基本要求，如保护隐私、确保可靠性、最大限度地减少延迟、最大限度地提高用户和广告商的满意度，以及通过广告为大规模语言模型的提供者赚钱。演讲人
✔️ 动态创意优化（DCO）的验证：讨论利用大规模语言模型超越传统 DCO 技术的个性化广告潜力。

Online Advertisements with LLMs: Opportunities and Challenges
written by Soheil Feizi, MohammadTaghi Hajiaghayi, Keivan Rezaei, Suho Shin
(Submitted on 11 Nov 2023 (v1), last revised 14 Feb 2024 (this version, v2))
Subjects: Computers and Society (cs.CY); Artificial Intelligence (cs.AI)

code：

本文所使用的图片要么来自论文、介绍性幻灯片，要么是参考这些图片制作的。

概述

在网络搜索引擎的世界里，广告在塑造数字体验方面发挥着不可或缺的作用。这一市场的规模已达数万亿美元，而且还在继续增长。广告的经济重要性甚至更大。随着各种信息和服务的免费提供，广告已成为重要的支撑支柱。广告收入模式正在使教育和信息的获取民主化，使人们能够免费享受内容，并极大地促进了数字生态系统的发展。广告与内容生产之间的协同作用正在推动经济增长，广告市场的重要性也与日俱增，Netflix 等公司推出了广告支持计划。

近年来，大规模语言模型（如 ChatGPT）的提供已变得十分普遍，可帮助用户实现问题解答和内容生成等多种功能。据说这些技术的广泛使用有可能取代传统的搜索引擎，成为信息检索的一种手段，而大规模语言模型的提供者也正在探索广告盈利的可能性。在此背景下，研究人员开始讨论如何在大规模语言模型中实施在线广告并从中获利。

本文探讨了将在线广告和拍卖形式应用于大规模语言模型的挑战和可能性。特别是，本文重点探讨了在大规模语言模型的非结构化输出中嵌入广告的好处和挑战，并研究了满足广告商和用户需求的方法。它还探讨了广告商如何与系统互动和竞标的问题。此外，还讨论了大规模语言模型如何提供与个人用户更相关的广告内容，以及如何生成更具吸引力的广告，即所谓的 "动态创意优化"（DCO）和 "响应式广告"。

这项研究强调了广告和数字内容的未来，并提出了一种对广告商和用户都有利的新方法。

大型语言模型广告系统的要求

本文还讨论了大规模语言模型对广告系统的要求。这些要求包括

保护隐私：用户与广告商之间互动最重要的一点是保护用户隐私的机密性。这对于保证用户信息和数据的安全，避免意外泄露带来的风险至关重要。

确保信任：与一般的在线广告一样，需要与广告商建立信任关系。为了保持这种信任，系统需要密切监控广告商的行为，以确保系统的一致性和可靠性。

尽量减少延迟：用户希望获得快速服务，广告显示会有少量延迟，但应尽量减少这种延迟，以免影响用户体验。

保持用户满意度：即使在大规模语言模型的输出中整合了广告，内容质量也应保持高水平。过多的广告会损害用户体验，大大降低用户满意度，尤其是当广告与用户的搜索和兴趣不匹配时。

确保广告客户满意：广告客户希望自己的广告得到适当的曝光。广告应以有吸引力和用户感兴趣的方式展示。这将提高广告商的盈利能力。

确保大型语言模型提供者的盈利能力：提供广告服务是为了创收。应当注意的是，额外的广告可能会造成用户数量的减少，对大型语言模型的提供者适得其反。广告费用应由广告商的收入完全补偿。

通过满足这些要求，广告系统为用户和广告商提供了有价值的服务，同时也确保了供应商自身的盈利能力。

大规模语言模型广告系统概述

本节概述了利用大规模语言模型（以下简称 LAS）的广告系统。 LAS 可以采用多种结构，本文将对每种结构的优缺点进行综合分析。其流程是，用户将提示信息输入一个大型语言模型，该模型处理如何根据输出将提示信息与广告联系起来。模型会考虑用户过去的搜索历史等各种情况，并推荐广告。

LAS 由四个模块组成：修改输出（修改）、出价、预测和拍卖。每个模块都与用户对大规模语言模型的输入相结合，为用户找到最佳的广告组合。

修改（Modification）模块根据用户的输入输出定制的广告。目前正在考虑两种方法：广告商修改模式和 LAS 修改模式，前者由广告商自己定制输出，后者由 LAS 直接修改输出。

出价（Bidding）模块根据修改后的输出确定广告商的出价金额。在动态竞价模式中，广告商通过为每个输入提供修改后的输出和相关信息来确定竞价金额。另一方面，在静态竞价模式中，竞价是基于预定义的关键字。

预测模块计算用户满意度和广告点击率，并根据这些指标评估最终广告输出的质量。这将协调用户体验的改善和 LAS 收入的最大化。

拍卖模块最终决定向用户展示哪些广告以及向广告商收取多少费用。该模块根据出价金额、满意度和点击率确定最佳广告服务和合适的价格。

LAS 的目标是最大限度地提高广告收入，同时兼顾短期收入和长期用户留存。为此，每个模块都经过精确设计，允许广告商根据自身策略灵活调整。最终，会选择适当的拍卖形式，如第一价格拍卖或第二价格拍卖。

利用大规模语言模型进行动态创意优化 (DCO)

本节将介绍动态创意优化（DCO）的潜力，DCO 利用大规模语言建模，是一种动态调整广告资产组合的技术，以构建最符合客户偏好的广告，通常用于传统的搜索和展示广告市场。DCO.这项技术通过为用户量身定制广告内容，大大提高了广告的质量和与用户的相关性。许多在线广告平台使用基于 DCO 的广告，即所谓的响应式广告。

在典型的 DCO 框架中，静态广告由只在特定广告渠道中显示的单个图像文件组成，而动态优化广告则由单个广告模板和填充该模板的多个资产组成。具体做法是，广告商为一个广告模板注册多个资产选项，然后系统选择最佳组合，目的是提高点击率（CTR）和传播率（SR），改善在线广告生态系统的效率和广告平台的收入。

然而，支持图像输出的大规模语言模型（如 ChatGPT-4）的出现有可能取代传统 DCO 在在线广告平台中的作用，它引入了动态广告创建流程，与传统 DCO 技术不同。例如，基于用户输入和上下文，平台可以向大规模语言模型发送查询，通过捕捉用户的偏好来定制吸引用户的广告图像。下图展示了个性化广告的两种应用场景。

要加入响应式广告，还需要一个更高级的修改模块。该模块不仅应修改原始响应以包含广告，还应提供根据用户偏好添加广告的功能。这包括在广告生成过程中利用用户的上下文，如性别、位置和查询时使用的设备。这样，广告就能考虑到用户的喜好，从而更具吸引力。它可以利用语言模型，鼓励在生成修改输出时考虑与用户背景相关的不同因素。如上图所示，有关用户背景的信息可用于创建更具吸引力的广告。此外，预测模块还可以与变更模块合作，致力于生成最大化用户体验的修改输出。

关于成本分担模式，传统的 DCO 技术只是决定广告资产的有效组合，而基于大规模语言模型的响应式广告则不同，它允许创建真正的新内容。不过，这一过程需要更多的计算资源，尤其是在对大规模语言模型进行更多查询以定制广告时。本节将讨论 LAS 可以采用的成本分摊模式。

最简单的模式是每次动态修改内容时向广告客户收费。例如，广告客户和 LAS 就每个响应式广告的付费金额达成协议，LAS 在每次广告内容修改为响应式时向广告客户收费。合同可规定广告客户的广告何时改为响应式。LAS 还可以为广告客户提供各种选择，以确定广告修改为响应式广告的频率和程度。

这些过程需要额外的计算资源，并会影响动态广告的延迟。在线广告通常要求实时竞价过程的整体延迟时间在 100 毫秒以内，但校正图像输出可能会有几秒钟的延迟。平衡广告质量和延迟在技术上非常有趣，可以通过简单的方法实现，如使用缓存，或将部分经济负担放在广告商身上。

摘要

本文探讨了利用大规模语言模型的在线广告系统的前景和面临的挑战。它列出了实用广告系统必须满足的基本要求，并提出了满足这些要求的框架。本文还探讨了系统的有效性。它比较了论文中提出的框架的优缺点，并讨论了设计有效的在线广告系统所涉及的技术和实际挑战。此外，论文还讨论了高级动态创意优化（DCO）的实用性，这可以通过利用大规模语言模型来实现。本文为探索在线广告在未来大规模语言模型中的作用和潜力提供了机会。