大规模语言模型能否复制人类个性？
三个要点
✔️验证用于测量人类性格的方法是否适用于LLMs
✔️ 证明LLMs再现的性格在某些提示设置下是有效的
✔️ 发现LLMs可以再现和控制任意性格
Personality Traits in Large Language Models
written by Mustafa Safdari, Greg Serapio-García, Clément Crepy, Stephen Fitz, Peter Romero, Luning Sun, Marwa Abdulhai, Aleksandra Faust, Maja Matarić
(Submitted on 1 Jul 2023)
Comments: Published on arxiv.
Subjects: Computation and Language (cs.CL); Artificial Intelligence (cs.AI); Computers and Society (cs.CY); Human-Computer Interaction (cs.HC)
code：
本文所使用的图片要么来自论文、介绍性幻灯片，要么是参考这些图片制作的。
简介
大语言模型（LLMs）可以通过基于海量数据的学习来模拟和输出人的个性，因此近年来备受关注。
性格是个人的思维模式和行为特征，由环境因素和经历形成，并通过各种语言特点、词汇和表达方式在语言中表现出来。
随着LLM的普及，了解这些模型所产生的语言的个性特征，以及如何设计LLM合成的个性以保证其安全有效是非常重要的。
然而，现有的使用提示来建立LLM代理角色的研究并没有像人类人格测量一样，用严格的标准来分析LLM产出中出现的人格，也没有研究如何用严格和系统的方式来测量LLM人格。没有。
为了解决这些问题，本文研究了用于测量人类个性的方法是否也适用于LLMs，并介绍了一篇证明LLMs可以再现和控制任意个性的论文。
方法
首先，本节将介绍用于描述LLM个性特征的方法。
对法律硕士进行心理测试。
为了在本文中描述和模拟法律硕士的个性特征，我们首先对法律硕士进行了心理测试，并收集了他们的得分。
为了对内陆劳工进行心理测试，我们利用了内陆劳工对提示语的反应能力，并指导内陆劳工使用标准化的反应量表对心理测试项目（例如：我是派对的焦点）进行评分。
然后构建了每个回答项目可能进行的所有提示组合。
通过提示进行模拟
每个项目提示包括四个部分：项目前言、角色描述、项目正文和项目后言。
项目前言是提示语的开头语，旨在为模型回答调查项目提供背景。(例如：思考陈述，......）。
如下图所示，角色描述使用了从现有研究中抽取的50个简短的角色，以便将LLM的回答与社会背景联系起来，并在不同的提示中产生必要的变化。
我喜欢改造房屋。
我喜欢打猎。
我喜欢射箭。
我最喜欢的节日是万圣节。
项目主体是一个描述性陈述（例如：我认为自己是一个健谈的人），并附有一个评分量表，该评分量表来自于对法律硕士进行的心理测试。
在句子后的项目中，模型可以从中选择答案，如下所示。
请用1至5分表示您的同意，其中1分表示 "非常不同意"，2分表示 "不同意"，3分表示 "既不同意也不不不同意"，4分表示 "不同意"，5分表示 "非常同意"。非常同意"。
这种设计的结果是将下图所示的提示输入到模型中。(蓝色 = 提示介绍，红色 = 角色描述，黄色 = 项目前言，蓝色 = 项目正文，粉色 = 项目后言）。
这种设计使测试数千种输入提示变量成为可能。
人格测量。
然后使用两种心理测量方法对人格进行测量，并对五大人格特质（Big Five personality traits）进行分类。
第一种方法是IPIP-NEO方法，对来自五大领域的60个描述性陈述（例如，我更喜欢多样化而不是常规化）进行五点Likert量表评分。
之所以选择IPIP-NEO，是因为它已经被翻译成多种语言并用于验证，是一种非常好的心理测量方法。
第二种是 "大五量表"（BFI），这是一种基于44个形容词描述来测量大五特征的简短方法。5分的Likert量表。
这两项测量分别针对五大因素：外向性、宜人性、自觉性、神经质和开放性。
法律硕士的人格形成。
在塑造LLM人格时，作者在提示语设计中遵循了词性假设（=重要特征总是在自然语言中编码的假设），并发现LLM对包含与五大领域相对应的形容词的提示语反应最强烈。
基于这一想法，提示设计采用了70个形容词列表，这些形容词与Goldberg和统计因子分析所评估的人格五大要素相对应。
下图为该清单的部分内容。
该列表中的一个例子表明，沉默和健谈这两个形容词分别对应于外向程度较低（低标记）和外向程度较高（高标记）的形容词。
此外，作者还假设，李克特量表中常用的修饰词（如有点、非常、极度）将有助于更准确地控制人格，而且九级人格可以任意地进行控制。这就是设计的目的。
- 极低形容词
- 非常
- {低级形容词}.
- 有点
- 既不{低形容词}也不{高形容词｝
- 有点
- {高形容词}.
- 非常
- 极高形容词
例如，设定一个具有中等水平外向性的人格（上述第7项）、
对于以下任务，请以符合以下描述的方式进行回复："{PersonaChat描述}我是{外向、精力充沛、健谈、大胆、敢于冒险}。活跃、自信、冒险}"。
并从包含外向性的形容词列表中使用五个形容词设计如下提示语。
语言模型
在本研究中，我们采用了一个名为PaLM系列的模型，该模型在现有的研究中被证明在基于生成和对话语境的任务中表现良好。尺寸。
结果
本文分析了针对人格化LLM的测量结果，并对LLM模拟的人格进行了深入分析。
考试成绩分析结果。
下图为IPIP-NEO和BFI测试分数在不同模型中的统计分布图。
该框-须图显示了IPIP-NEO和BFI得分的中位数，周围是四分位数和离群值，纵轴EXT表示外向性，AGR表示宜人性，CON表示自觉性，NEU表示神经质，OPE表示开放性。神经质，OPE指开放性。
该框-须图显示，当模型大小从 8 字节增加到 540 字节时，IPIP-NEO 和 BFI 分数保持稳定。
此外，还得到了一些有趣的分析结果，如BFI的EXT、AGR、CON和OPE的中值随模型尺寸的增加而增加，而NEU的中值则随模型尺寸的增加而减少。
总体而言，结果表明，LLM模型的性能与模拟人格的可靠性之间存在正相关。
对模拟人格的思考。
下图(a)显示了当神经质设置为最低人格时，LLM生成的文本中一些最常用的词汇。
可以看出，这些词语中的大多数都是积极的情绪，如快乐、放松、美妙、希望和享受。
相比之下，图(b)中，神经质被设定为最高人格，显示出大部分词语被归结为负面情绪，如憎恨、沮丧、恼怒、压力、紧张和悲伤。.
这些趋势与Park等人的研究中发现的人类反应中的词云分布惊人地相似，并且与作者关于LLM可以复制人类个性的假设相一致。
摘要
结果如何？在这篇文章中，我们介绍了一篇论文，该论文测试了用于测量人类性格的方法对LLMs的适用性，并证明LLMs能够复制和控制任意性格。
实验结果证明了作者的假设，即LLM可以再现任意的人类性格，因为模型的性能与模拟性格的可靠性之间存在正相关，并且生成的文本与人类的反应分布相似。
另一方面，本研究中使用的LLM和人格测量方法仍存在一些问题，例如本研究仅使用英语，其结果是否可推广至其他语言尚不得而知。
由于本实验中使用的模型在多语言基准测试任务中表现出色，而且本研究中使用的测量方法已被翻译成数十种语言，因此我们有兴趣了解这些测量方法在英语以外的语言中的验证情况。
本实验所使用的测量方法和分析结果的详细信息请参阅本文，有兴趣者请参阅。
与本文相关的类别
