ChatGPT可以提高人类的生产力吗？

聊天室GPT 18/07/2023

三个要点
✔️ 一项研究考察了将ChatGPT应用于专业写作任务的效果
✔️ 一项以444名专业人士为实验对象的实验发现，工作时间减少了0.8个标准差，可交付成果的质量提高了0.4个标准差。
✔️ 研究还发现ChatGPT对技能较低的受试者有更大的功效，并能提高工作满意度和自我效能。

Experimental Evidence on the Productivity Effects of Generative Artificial Intelligence
written by Shakked Noy, Whitney Zhang
(Submitted on 6 Mar 2023, last revised 11 Apr 2023)
Comments: Published on SSRN.
Subjects: artificial intelligence, generative AI, labor markets, productivity

本文所使用的图片要么来自论文、介绍性幻灯片，要么是参考这些图片制作的。

导言

关键问题包括：生成式人工智能如何影响工人在现有任务中的生产率，
，它是取代工人还是补充他们的技能，
，所获得的收益是否因工人的技能高低而不同，
，它是否影响工人的工作满意度，
。作者提出了这些问题。
作者通过实验来回答这些问题。

试验

444名专业营销人员、赠款撰稿人、咨询师、数据分析师、人力资源专业人员和管理人员汇聚一堂，共同完成撰写任务。

可接受20-30分钟的任务，如新闻稿、简短报告、分析计划、精致的电子邮件写作等。

一半的参与者属于治疗组，在第一项任务和第二项任务之间，他们被教导如何使用ChatGPT，然后被允许在第二项任务中使用它。另一半参与者属于对照组，他们可以使用LaTeX编辑器Overleaf来代替ChatGPT。

由专家从写作质量、内容质量、原创性和总分等方面对学生作品的质量进行评估。每个作品都有三名评估员。此外，还对所花费的时间、满意度、自我效能以及对自动化的态度进行了调查。

结果。

下面将分九个部分介绍受试者的实验结果。

1. 使用ChatGPT

治疗组中81%的受试者选择在第二项任务中使用ChatGPT，其感知有用性得分为4.4分（满分为5分）。

2. 生产率

如图1(a)和(b)所示，与对照组相比，治疗组完成第二项任务的时间缩短了10分钟，成绩提高了0.45个标准差。

如图1(c)和(d)所示，整体分布向所需时间更短、性能更好的方向转变。

图2 (a)和(b)显示了生产率的变化与受试者技能水平的函数关系。

(a)横轴为第一项任务的成绩，纵轴为第二项任务的成绩，表明第一项任务的成绩越差，使用ChatGPT后成绩提高得越好。

(b)在纵轴上绘制了第二项任务所花费的时间，在横轴上绘制了第一项任务的执行情况，结果表明，无论第一项任务的执行情况如何，使用ChatGPT所花费的时间都是一致减少的。

当指导治疗组和对照组将任务所需时间固定为15分钟时，使用ChatGPT时的成绩提高了0.39个标准差。

3. 消除生产率偏差

从图2（a）中可以看出，在第一个任务中表现较差的被试在第二个任务中从ChatGPT中获益更多。这说明ChatGPT的使用在一定程度上消除了成绩偏差。

4. 人机互补

在治疗组中，68%的受试者表示他们提交了ChatGPT的初始输出，没有进行任何编辑。ChatGPT输出的原始数据和修改后的回答在成绩上也没有差异。这些结果意味着没有证据表明 "人为修改ChatGPT输出可以提高质量"。

5. 完成任务所花时间的变化

如图3（a）所示，随着ChatGPT的使用，用于写作任务的时间比例发生了变化，其中用于头脑风暴和起草的时间减少了。

6. 写作技能的差异

我们发现，无论受试者的写作能力如何（自评和互评），他们对使用ChatGPT的付费意愿和成绩提高程度基本保持不变。

工作满意度和自我效能感

我们发现，通过使用ChatGPT，工作满意度提高了0.40个标准差，自我效能提高了0.20个标准差。

8. 自动化方法

大多数受试者在参加实验前从未使用过ChatGPT，但他们被问及参加实验后他们对ChatGPT的态度发生了怎样的变化。这三个问题分别是：（a）您对人工智能取代您所从事职业的工人有多担心；（b）您对人工智能提高您所从事职业的生产力有多乐观；（c）您对人工智能的未来发展有多乐观或悲观。问题结果显示，与对照组相比，治疗组的(a)担忧增加了0.26个标准差，(b)对提高生产率的期望增加了0.39个标准差，(c)对未来的乐观程度增加了0.20个标准差。

9. 跟踪ChatGPT的使用情况

在参加实验两周后再次接受调查时，治疗组中33%的受试者表示他们在实际工作中使用了该软件。具体而言，他们在撰写推荐信、处理客户服务、集思广益、使用搜索引擎和起草电子邮件等各种任务中使用了聊天工具。相反，许多表示在实际工作中没有使用的人表示，这是因为ChatGPT缺乏特定的语境知识。问题在于它不针对客户，处理的是实时信息，无法处理公司的特定信息。