你能在猫和人之间转换图像吗？CycleGAN开发的 "Transgaga"

三个要点
✔️图像风格转换任务
✔️将输入图像分为几何学（方向）和外观（形状）两部分。
✔️启用需要大量几何变化的样式转换，这在 CycleGAN 中是不可能的。

TransGaGa: Geometry-Aware Unsupervised Image-to-Image Translation
written by Wayne Wu, Kaidi Cao, Cheng Li, Chen Qian, Chen Change Loy
(Submitted on 21 Apr 2019)
Comments: Accepted to CVPR 2019. Project page: this https URL
Subjects: Computer Vision and Pattern Recognition (cs.CV)
 

首先

虽然pix2pix是作为一个风格可转换的模型提出的，但pix2pix需要准备成对的数据集。然而，与pix2pix不同的是，CycleGAN引入了循环损失，以实现没有配对数据集的风格转换。然而，需要大面积几何变化的风格转换并不能很好地进行，只有马和斑马之间的颜色变化是可能的。

2018年提出的MUNIT使用VAE（Variational AutoEncoder）来提供两个领域之间的共同变量。用一个潜变量来表示两个域的目标是直观的，但在实际操作中，要表示更复杂的域之间的几何结构并不是那么容易和困难。

本研究提出的模型将图像划分为几何和外观，并将其还原为潜变量，从而实现需要大面积几何变化的风格转换。此外，我们还获得了比传统方法更自然、更多样的生成图像。

Y.Tanabe