我们何时应该相信法律硕士？

自然语言处理 24/08/2023

三个要点
✔️ 以问答形式分析 LLM 在参数中存储的知识
✔️ 问题的正确答案比例与问题主题的受欢迎程度成正比
✔️ 根据受欢迎程度应用外部知识，实现快速和高性能。

When Not to Trust Language Models: Investigating Effectiveness of Parametric and Non-Parametric Memories
written by Alex Mallen, Akari Asai, Victor Zhong, Rajarshi Das, Daniel Khashabi, Hannaneh Hajishirzi
(Submitted on 20 Dec 2022)
Comments:ACL 2023; Code and data available at this https URL
Subjects: Computation and Language (cs.CL); Artificial Intelligence (cs.AI); Machine Learning (cs.LG)

code:

本文所使用的图片要么来自论文、介绍性幻灯片，要么是参考这些图片制作的。

介绍。

大规模语言模型（LLMs），如 GPT-3，因其卓越的性能而备受关注。用大参数和训练数据训练出来的 LLM 通常会在参数中保留事实和常识等知识，据说有能力在一定程度上回答我们的问题。这种知识被称为参数知识，因为它蕴含在参数中。

然而，另一方面，法学硕士的所谓 "谎言"（也称为幻觉或最近的 "confabulations"）也受到了质疑。有时他们的知识是正确的，有时却是错误的。在这种情况下，他们需要我们的知识和维基百科等网络外部信息的补充，才能对某个问题做出推断。这种不包含在参数中的外部知识被称为非参数知识。

在本文中，作者试图分析在何时和何时不信任 LLM 的知识以及在此基础上获取外部知识之间的区别，目的是实现检索增强型 LLM，在必要时应用外部知识进行推理。

具体来说，要解决以下三个研究问题

法律硕士在多大程度上掌握了事实知识，是什么影响了他们的记忆？
非参数知识的获取能在多大程度上补充参数知识？
实施一个酌情将非参数知识和参数知识相结合的系统是否可行？

问题 1：根据参数知识分析 LLM

作者创建了一个新的数据集，用于分析 LLM 中的参数知识：PopQA 是一个非常简单的问题，根据维基百科中的三元组（主题、关系、对象）给出正确答案。正确答案已给出。本节使用 PopQA 分析法律硕士的知识。

在实验中，对于 PopQA 中的每个三元组，主题维基百科页面的每月浏览量被定义为流行度。这种流行度是作为该主题在网络上讨论频率的指标引入的。此外，下面的实验还使用了一个名为 EntityQuestions 的数据集：与 PopQA 不同，EntityQuestions 以每页的超链接数量来定义流行度。如下图 3 所示，PopQA 和 EntityQuestions 都是流行度呈长尾分布的数据集。

受欢迎程度与正确答案百分比之间的相关性。

PopQA 的实验使用了几个典型的 LLM。对于成本较高的模型（如 API），输入设置为 "0-shot"；对于其他模型，输入设置为 "15-shot"，提示格式为 "Q: <question> A:"。

上图显示了实验结果。上图显示的是正确答案的百分比，下图显示的是正确答案百分比与每个模型受欢迎程度之间的相关系数。

上图显示，参数越大的模型，正确答案的百分比越高，说明参数越多，可嵌入的知识越多。

从下图中可以看出，除了某些关系之外，模型越大，正确答案百分比与流行度之间的相关性就越强。这表明，LLM 中参数知识的记忆取决于该主题在网络上的流行程度。

关系的影响。

您还可以看到，每种关系的结果性质都不同。作者指出，有些关系可以很容易地 "猜 "出来，而不需要记住事实。再看一下结果，我们可以发现，虽然国家和体育的正确答案比例高于其他关系，但它们与受欢迎程度的相关性很弱。作者认为，这表明模型是根据输入的表面信息来回答问题的，而与问题的主题无关。对结果的分析还显示，在正确回答率与相关性强度之间存在差距的关系中，模型输出的答案也是相同的。

扩展和尾部知识

上图显示了参数数量、正确答案百分比和受欢迎程度之间的关系。可以看出，随着参数数量的增加，高人气实体（暖色调）的正确答案百分比也在增加，而人气较低的实体（冷色调）的正确答案百分比则始终很低，无论参数数量的大小如何。这些结果表明，所谓的缩放定律，即随着参数数量的增加，性能也会成正比增加，并不一定适用于不太受欢迎的实体。

问题 2：用非参数知识补充参数知识

然后，它测试了通过检索非参数知识来扩展模型的方法（检索增强 LLMs）的有效性。

检索的有效性。

该实验对 BM25 和 GenRead 进行了对比，BM25 是一种使用 Contriever 预训练从维基百科检索知识的方法，而 GenRead 则是一种通过提示从 LLM 检索知识的方法。请注意，本实验中的所有问题都给出了非参数知识。

结果如上图 7 所示，从图中可以看出，与没有检索的模型（即没有非参数知识（香草）的模型）相比，检索增强 LLM 的性能更好。

外部知识和知名度

在对结果进行更详细的分析时，发现了以下有趣的趋势

从上图可以看出，检索增强模型（BM25、Contriever）的性能在相对不那么流行的问题上优于 Vanilla，而在比较流行的问题上则等于或低于 Vanilla。由此看来，检索并非对所有输入都有效。我们还可以看到，尽管使用了来自 LLM 的参数知识，GenRead 的表现仍然普遍优于 Vanilla。这可能是提示如何有效利用参数内知识的一个例子。