法律硕士有创造力吗？
三个要点
✔️ 根据 Margaret Boden 的三个标准，考虑 LLM 是否具有创造性
✔️ 整理当前机器创造性过程中的问题
✔️ 整理将 LLM 应用于创造性任务中的问题
On the Creativity of Large Language Models
written by Giorgio Franceschelli, Mirco Musolesi
(Submitted on 27 Mar 2023 (v1), last revised 9 Jul 2023 (this version, v3))
Comments: Published on arxiv.
Subjects: Artificial Intelligence (cs.AI); Computation and Language (cs.CL); Computers and Society (cs.CY)
code：
本文所使用的图片要么来自论文、介绍性幻灯片，要么是参考这些图片制作的。
介绍
大规模语言建模（LLM）的最新发展令人印象深刻。例如，基于文本的推理能力就是其中最突出的一项。另一方面，当今的 LLM 又有多少创造性思维能力呢？
本文以创造力理论为基础，阐述了法学硕士的创造力，并提出了未来的挑战
导言
在过去的十年中，自然语言处理领域取得了长足的发展：随着变换器模型结构的提出，大型数据集和计算能力的提高也促进了这一领域的发展。因此，最近主流的大规模语言模型（LLM）吸引了大量用户，他们找到了各种创造性的方法来利用这些模型。例如，有编写食谱、诗歌和故事的例子
另一方面，尚不清楚法律硕士本身是否真正具有创造性。
本文根据一位名叫玛格丽特-博登的研究人员提出的三个标准来探讨这个问题
从艾达-拉芙蕾丝到基础模型
1843 年，艾达-拉芙蕾丝（Ada Lovelace）批评查尔斯-巴贝奇（Charles Babbage）的 "分析引擎"（Analytical Engine）说，计算器无意发明任何新东西，只是做我们能命令它们做的事。艾伦-图灵将此称为 "拉芙蕾丝反对意见"，而图灵本人则认为，机器永远不会给我们带来惊喜。
从那时起，一场关于什么是人类创造力、什么是机器创造力的哲学争论便开始了
计算机科学家一直在尝试制造能够通过写作进行创造性自我表达的机器。人们提出了文本生成系统，其中包含各种基本技术，如个人电脑的出现以及基于规划和进化策略的技术设计。
而随着最近神经网络系统的出现，现在可以看到一个重大的质变。从递归结构的递归神经网络到最近成为主流的 Transformer 结构，都是神经网络的基本技术。
后一种基于 Transformer 的模型需要较大的模型规模和训练数据，但具有广泛的适用性，最近的研究重点是如何利用训练有素的大规模模型（底层模型）
玛格丽特-博登对创造力的定义
Margaret Boden 将创造力定义为 "提出新颖、令人惊讶和有价值的想法或人工制品的能力"。玛格丽特-博登将创造力定义为 "提出新颖、令人惊奇和有价值的想法或人工制品的能力"。这三个方面（新颖性、惊喜和价值）是评判创造力的标准。
让我们来详细了解一下这三个项目
价值
首先，在价值方面，它指的是实用性、性能、吸引力以及产出的质量和社会的认可度。
法律硕士因其高质量的成果而对社会产生了很大影响，从这个角度看，可以说法律硕士的成果是有价值的
新颖性
新颖性指的是所产生的事物与其他例子的不同之处，即以前不存在的特性。
(就 "之前 "而言，新颖性有两种：个人的新颖性被称为 P-创造性（心理创造性），整个人类历史的新颖性被称为 H-创造性（历史创造性））。
原则上，LLM 的差异较小，因为它们的运行设计是返回概率上可能的输出。
如果出现了具有高新奇价值的产品，要么是偶然的，要么是巧妙提示的结果
惊奇
出乎意料是指输入刺激与预期相悖的程度。
有三种可能的惊喜，每种都有不同的创意。
一种是组合创造力，即以陌生的方式组合熟悉的想法。
另一种是探索性创造力，即在现有思维方式的范围内发现新的、未曾探索过的情况。
最后一种是变革性创造力，它改变了当前的思维方式本身。
目前的 LLM 在给定的分布范围内进行自回归预测，或许至少可以实现组合创造力，但变革创造力将很难实现。转换型创造力难以实现，因为它是由 RLHF 进行微调或微调，以适应人类的价值观，无论好坏。这可能会减少令人类反感的产出，但另一方面也可能确保只产出平庸的答案
总之，尽管目前的法律硕士能够产生有价值的成果，但在产生具有新意和惊喜的成果方面仍有许多困难。
机器创造力的问题
正如 Floridi 和 Chiriatti（2020 年）在本文中指出的，重要的不是取得了什么成果，而是如何取得成果
根据高特（2003 年）的观点，创造力是通过天赋/感觉产生原创性和有价值事物的能力。发挥这种才能/感觉就是要发挥相关的目的、理解、判断和评价技能，这些技能与动机、感知、学习、思考和交流等过程密切相关（Rhodes，1961 年）。
目前的 LLM 停留在模仿阶段，即根据输入刺激返回可信的输出，其结构不允许进行探索和有意改变等人类创造过程。
Rhodes (1961) 和 Csikszentmihalyi (1988)也指出，在评估创造性时，不仅要考虑产品或过程，还要考虑是谁创造的，以及如何将其与社会和历史联系起来进行评价。创造性行为是在个人与社会的互动循环中发生的，但目前的通识教育课程在设计上并没有做到这一点，因为在一次学习之后，权重就是固定的。今后，将要求 LLM 不断学习
实际 考虑因素
在实践中，第一个问题是版权。
版权适用于反映作者起码的独创性和人性的作品。目前的 LLM 作品可能符合前者的独创性，但不符合后者的人性化，因为 LLM 没有自己的个性。因此，在目前的情况下，版权适用于编写提示的用户
另一个潜在问题是，如果训练数据包含版权作品的数据，输出结果可能是这些作品的部分复制
此外，随着撰写论文和小说能力的提高，写作工作也有可能消失，还有区分人类工作和生成模型产生的工作的问题
尽管存在上述问题，本文作者仍期望 LLM 技术能产生积极影响，因为 LLM 允许有时间设计和测试各种想法，并为创造性活动提供了机会
摘要
本文讨论了当前 LLM 和其他生成模型的创造性。
根据博登的三项创造性标准（价值、新颖性和惊喜），目前的法律硕士似乎还不能说同时具备这三点。
演讲还介绍了当前法律硕士在创作过程中遇到的挑战以及在实际应用中面临的问题。
我们对未来法律硕士创造力研究的发展寄予厚望。
与本文相关的类别
