利用 LLM 模拟群体文化演变的框架现已推出！
三个要点
✔️ 开发了开源软件，以模拟语言内容在 LLM 代理群体中的传播和演化
✔️ 开发了直观的用户界面，使任何人都能进行研究
✔️ 实验表明证明了研究文化演变的有效性
Cultural evolution in populations of Large Language Models
written by Jeremy Perez, Corentin Leger, Marcela Ovando-Tellez, Chris Foulon, Joan Dussauld, Pierre-Yves Oudeyer, Clement Moulin-Frier
(Submitted on 13 Mar 2024 )
Comments: Published on arxiv.
Subjects: Computation and Language (cs.CL); Artificial Intelligence(cs.AI); Human-Computer Interaction(cs.HC)
code：
本文所使用的图片要么来自论文、介绍性幻灯片，要么是参考这些图片制作的。
介绍
文化进化研究（Cultural evolution）旨在为人类文化随时间推移而发生的变化提供因果解释，过去几十年来，该领域利用实验、历史和计算方法取得了大量研究成果。
其中，计算模型成功地就群体结构和传播偏差等几个因素的影响提出了可检验的假设，但也发现难以处理复杂的社会信息转换。
在这种情况下，本文作者发现，利用大型语言模型（LLM）来模仿人类行为有助于弥补这一不足。
在此背景下，本文介绍了开发开源软件来模拟 LLM 代理群体中语言内容的传播和演变的论文，并展示了使用 LLM 研究文化演变的有效性。
方法
本文提出了一种模拟 LLM 群体中语言内容文化演变的方法，模拟过程中每一步的概况如下图所示。
如图（a）所示，每个代理都是根据指定的社交网络结构部署的，初始生成的所有代理都会显示初始化提示（initialisation prompt）。
初始化提示的一个例子是"想象一下，你正在给你的孩子讲一个故事。 这个故事是什么？"只需输出故事，无需其他。.这个故事是什么？只需输出故事，无需其他）"。您将得到以下句子
在收到初始化提示后，所有代理都会将提示传递给各自的 LLM 实例，从而输出答案。
然后，每个代理都会收到一个新的提示，如图（b）所示，该提示由一个句子（称为 "转换提示"）和相邻代理在上一代中生成的故事列表组成。
转换提示的示例是"这里有一个或多个你小时候听过的故事。现在轮到你讲一个你小时候的故事。这里有一个或多个你小时候听过的故事。现在轮到你给孩子讲故事了。讲这个故事。只写一个故事，不要输出其他内容）"。您将得到这样一个句子
此外，代理人还可以在提示语开头添加个性，例如 "你很有想象力"。等等。
用户界面
为了方便研究人员使用本文中的模型，作者开发了一个直观的用户界面，如下图所示，该界面可以操作变量生成图表。
该面板允许用户自由设置要模拟的代理数（代理数）、要模拟的世代数（世代数）和模拟重复次数（种子数）。您可以任意重复模拟次数（种子数）。
此外，您还可以选择初始化提示和转换提示，也可以点击"添加提示 "来添加新的提示。
设置好这些参数后，点击"运行 "即可运行仿真，仿真完成后将生成图表并显示在图形用户界面的 "图表 "选项卡中。
分析方法
相似性
在本文中，用于分析结果的主要指标将是文本之间的相似度。
为计算这一指标，首先使用scikit-learn 的TfidfVectorizers将文本转换为有意义的数字表示，然后计算所有生成文本之间的余弦相似度，生成一个（Nagents * Ngenerations）×（Nagents *Ngenerations）的相似度矩阵。Ngenerations）的相似性矩阵。
然后从该相似性矩阵中提取出以下三个测量值
- 代内相似性： 特定世代产生的文本之间的相似程度。
- 连续相似度： 一代文本与上一代文本之间的平均相似度。
- 与第一代 文本的相似度： 一代文本与第一代文本的平均相似度。
在这些测量方法的基础上，使用相似性矩阵和其他测量方法对生成的叙事之间的语义相似性结果进行解释。
可视化
本文还提出了两种可视化技术，用于对生成的数据进行定性分析。
第一种是 "词链"，它从每篇文本中提取关键词来代表代际演变。
要从文本中提取关键词，需要将文本标记化为单词，在去除常见的停止词和非字母数字标记后，计算剩余单词的词频分布，并根据词频选择最重要的关键词。
这样就可以直观地看出哪些词最频繁、最稳定和最常被重复使用。
第二种是相似性网络，使用图网络，其中每个节点代表一代文本，以表示代与代之间的相似性。
节点的位置由NetworkX 库提供的布局算法决定，并以相似性和互连性为基础。
在这种方法中，相似度高的世代被放在更近的位置，而以相似颜色代表的连续世代则以更粗的边缘连接起来，从而可以直观地分析生成内容的进化动态。
实验
传动链
本文使用 50 个没有指定性格的代理对该模型的动态进行了实验。
实验结果如下图所示。
从图（a）中的相似性矩阵可以看出，在本实验中，故事未经修改的传播阶段和故事被修改的传播阶段交替出现。
这种动态现象在有关文化进化的实验和建模中均有报道，所获得的结果证明了使用 LLM 代理研究文化进化的有效性。
此外，图（c）显示了对这一动态中各代人所使用的词语表示法的分析图，证实了一些词语，如"魔法"，在各代人中广泛使用，而另一些词语，如 "学习"，只在最初几代人中使用。
摘要
结果如何？在这篇文章中，我们介绍了一篇论文，该论文开发了开源软件来模拟 LLM 代理群体中语言内容的传播和演变，并证明了使用 LLM 来研究文化演变的有效性。
尽管本文所进行的实验只是实验性的，但所获得的模拟结果再现了文化进化实验和建模中的现象，这证实了一个事实，即基于 LLM 的多代理模型是研究人类文化进化的有用工具。这一事实证明，基于 LLM 的多代理模型是研究人类文化进化的有用工具。
另一方面，未来的挑战包括需要对各种变量对文化演变的影响进行更系统、更详细的分析，以及比较从同一叙事出发的群体如何随着时间的推移而演变。
此外，作者还指出，该框架还适用于研究与集体行动相关的其他问题，如舆论动态、集体创新和语言演变等，本文可能是 LLM 开始用于模拟各领域研究的一个起点。
本文所介绍的框架和实验结果的详情可参见本文，有兴趣者可参阅�
与本文相关的类别
