ChatGPT 的翻译性能

计算与语言 08/02/2024

三个要点
✔️ 讨论了机器学习模型 ChatGPT 的翻译能力。
✔️ 提出了一种称为 "枢轴提示 "的策略，以提高 ChatGPT 的性能。
✔️ 通过引入 GPT-4 引擎提出了改进方案。

Is ChatGPT A Good Translator? Yes With GPT-4 As The Engine
written by Wenxiang Jiao, Wenxuan Wang, Jen-tse Huang, Xing Wang, Shuming Shi, Zhaopeng Tu
(Submitted on 20 Jan 2023)
Comments: Analyzed/compared the outputs between ChatGPT and Google Translate; both automatic and human evaluation
Subjects: Computation and Language (cs.CL)

code：

本文所使用的图片要么来自论文、介绍性幻灯片，要么是参考这些图片制作的。

概述

本文研究了机器学习模型 ChatGPT 的翻译能力。对翻译能力的评估侧重于翻译提示的效果、多语言翻译的执行和翻译的鲁棒性（即在不同情况下的性能）。翻译质量受提示的影响。

对各种基准的评估表明，ChatGPT 在某些语言中的表现几乎与商业翻译工具不相上下，但在其他语言和远程语言中仍有改进的余地。特别是在口语方面，如医学摘要和在线社区评论，结果要好得多。

此外，为提高 ChatGPT 的性能，还提出了一种称为 "枢轴提示 "的策略。这是一种在翻译之前先翻译成高资源中间语言的方法；随着 GPT-4 引擎的引入，ChatGPT 的翻译能力得到了显著增强，即使是对于遥远的语言，也能提供与商业翻译工具相同的质量。

最后，与以前的版本相比，使用 GPT-4 的 ChatGPT 翻译更可靠，错误更少。总之，ChatGPT 正日益成为一种卓越的翻译工具。

导言

ChatGPT1 是 OpenAI 开发的一款聊天机器。它是在 InstructGPT（OpenAI 提供的自然语言处理模型）上训练出来的，旨在对提示指令做出详细回复。ChatGPT 是交互式的，可以回答问题、承认错误、拒绝不适当的请求。该系统集成了一系列自然语言处理功能，包括回答问题、讲故事、逻辑推理、代码调试和机器翻译。

翻译提示为翻译模型开始翻译提供指导，这可能会影响翻译质量。在多语言翻译方面，考虑到资源和语系的差异，对 ChatGPT 在不同语言对中的性能进行了评估。

最后，在使用改进后的引擎 GPT-4 时，对 ChatGPT 的翻译能力进行的重新评估将表明，使用 GPT-4 可显著提高 ChatGPT 的翻译性能。这将使 ChatGPT 能够提供与商业翻译产品相同的质量。

估值指数

所提供的评估设置主要侧重于将 ChatGPT 与其他翻译产品进行比较。不同的评估设置用于评估这些产品的语言翻译能力。这些评估设置主要包括比较基线和测试数据。基线通常是一个标准模型或系统，翻译产品与之进行比较。在本例中，ChatGPT 与谷歌翻译、DeepL Translate 和腾讯 TranSmart 进行了比较。这些商业系统分别支持 133 种、29 种和 16 种语言的翻译。

测试数据包括多语言翻译集 Flores101 以及 WMT19 生物医学翻译任务集（Bio）和 WMT20 鲁棒性任务集（Rob2 和 Rob3）。Rob2 测试集是从社交媒体评论中提取的。这些测试集可作为评估 ChatGPT 和其他翻译产品翻译能力的基础。

主要的评估指标是 BLEU 分数，用于衡量翻译结果与正确答案的匹配程度，分值从 0 到 100 不等。还可以报告其他指标，如字符 F 分数 (ChrF++) 和翻译编辑率 (TER)。

还设计了一些提示来触发 ChatGPT 的翻译功能。这些提示用于请求 ChatGPT 执行翻译。为了测试不同语言的翻译性能，我们提供了不同语言对的提示。

这种评估设置可对 ChatGPT 的翻译能力进行更全面的评估，并可与其他翻译系统进行比较。

用于机器翻译（MT）的 ChatGPT

关于如何改进用于 MT 的 ChatGPT，主要提出了三项改进建议。首先，建议采用一种称为 "枢轴提示 "的策略来提高不同语言之间的翻译质量。这是一种先将源语言翻译成枢轴语言（通常是英语），最后再翻译成目标语言的方法。这减少了因语言对的资源差异而带来的挑战。

GPT-4 引擎比 ChatGPT 背后的 GPT-3.5 模型更强大，在所有四个翻译方向上的性能都有显著提高。

此外，还对翻译输出进行了自动和手动分析，以比较 ChatGPT 和 GPT-4 的翻译结果。结果表明，GPT-4 的过译和误译错误较少，整体翻译性能较好。

通过这些改进，用于 MT 的 ChatGPT 可以提供更高水平的翻译，并有助于促进不同语言之间的交流。下表是与商业系统和 GPT4 的比较。(De：德语；En：英语；Zh：中文；Ro：罗马尼亚语）

结论

在这项研究中，对 ChatGPT 的机器翻译能力进行了测试。结果表明，ChatGPT 在主要欧洲语言方面可以与商业产品竞争，但在低资源语言和遥远语言方面则逊色不少。不过，在引入一种名为 "枢轴提示 "的新策略后，ChatGPT 在远距离语言方面的翻译能力得到了改善。此外，GPT-4 引擎的引入大大提高了 ChatGPT 的翻译性能，达到了与商业产品相当的水平。因此，ChatGPT 已成为一款优秀的翻译工具。

本研究结果表明，ChatGPT 在机器翻译方面取得了显著进步，但仍有改进空间。我们希望进一步提高翻译质量，支持更多语言；ChatGPT 仍在不断发展，未来将成为更好的翻译工具。