機械に漫画を翻訳させよう！

3つの要点
✔️ マルチモーダルな文脈を意識した漫画翻訳
✔️ 最初の(多言語)漫画翻訳ベンチマーク&データセット
✔️ 初の画像から画像への完全自動化マンガ翻訳フレームワーク

Towards Fully Automated Manga Translation
written by Ryota Hinami, Shonosuke Ishiwatari, Kazuhiko Yasuda, Yusuke Matsui
(Submitted on 28 Dec 2020 (v1), last revised 9 Jan 2021 (this version, v3))
Comments: Accepted to AAAI2021
Subjects: Computation and Language (cs.CL)
   

はじめ

日本の漫画(および webtoon:韓国、manhua:中国)は世界中で人気があり、それらを手作業で他の言語に一行ずつ翻訳するのは、リソースを必要とする作業です。ニューラル機械翻訳(NMT)モデルの開発には大きな進展がありましたが(Deepl＆Google)、漫画翻訳への応用は比較的限定的でした。これは、漫画ではテキストと画像が混在していることが主な原因です。またテキストボックスが完全に整列しておらず、読む順番も常に一定ではありません。さらに日本語の単語の中には、文脈に応じてhe, him, she, herと訳されるものがあります。そのため、漫画のコマからの文脈情報がなければ、正確な翻訳ができない可能性があります。本論文では、これらの問題を解決するために、漫画翻訳のための新しい文脈認識型マルチモーダル翻訳システムを紹介します。また、漫画翻訳の最初のベンチマークとなる新しいデータセットとなります。

Thapa Samrat

今大阪大学の電子情報工学科で学習している2年生のネパールからの留学生です。 機械学習・深層学習に興味あります。だから、暇なときにそれらについて記事を書いています。