让机器翻译漫画吧!

三个要点

✔️多模态语境感知漫画翻译
✔️第一个（多语言）漫画翻译基准和数据集。
✔️首个全自动图像到图像的漫画翻译框架。

Towards Fully Automated Manga Translation
written by Ryota Hinami, Shonosuke Ishiwatari, Kazuhiko Yasuda, Yusuke Matsui
(Submitted on 28 Dec 2020 (v1), last revised 9 Jan 2021 (this version, v3))
Comments: Accepted to AAAI2021
Subjects: Computation and Language (cs.CL)
   

诸如

日本的动画片（还有网络动画片：韩文，manhua：中文）风靡全球，而将它们逐行手动翻译成其他语言是一项资源密集型的工作。虽然神经机器翻译(NMT)模型(Deepl & Google)的发展已经取得了重大进展，但其在漫画翻译中的应用还比较有限。这主要是由于漫画中文字和图像混杂。另外，文本框并不是完全对齐，阅读顺序也不一定一致。此外，根据上下文的不同，有些日语单词可以翻译成他、他、她、她。因此，如果没有漫画板块的背景信息，可能无法进行准确的翻译。在本文中，我们提出了一种新型的上下文感知多模态翻译系统，用于漫画翻译，以解决这些问题。它也是漫画翻译的第一个基准新数据集。

Thapa Samrat