StyleGAN的新编码器！pixel2Style2pixel。

三个要点
✔️提出一个编码器 "pSp"，将真实图像嵌入StyleGAN的潜伏空间。
✔️可以应用于各种图像转换任务。
✔️使用StyleGAN的多样性。

Encoding in Style: a StyleGAN Encoder for Image-to-Image Translation
written by Elad Richardson, Yuval Alaluf, Or Patashnik, Yotam Nitzan, Yaniv Azar, Stav Shapiro, Daniel Cohen-Or
(Submitted on 3 Aug 2020)
Comments: Published by arXiv
Subjects:  Computer Vision and Pattern Recognition (cs.CV)

Code

介绍

虽然StyleGAN能够生成高质量的图像，但要将真实世界的图像嵌入到StyleGAN的潜伏空间中是很困难的，所以提出了几种方法。这里介绍的"pixel2Style2pixel(pSp)"是一个可以直接从图像中估计StyleGAN潜变量的编码器。它可以在不改变pSp结构的前提下，应用于各种图像转换任务，如由分割图生成人脸图像、人脸正面化、超分辨率等。

StyleGAN的结构

首先，我们来快速了解一下StyleGAN的结构。我在用StyleGAN2做实际实验。但是大体结构和StyleGAN是一样的，所以我们看一下StyleGAN的大体情况。

基于风格的生成式对抗网络的生成器架构 图1.(b)より引用

从正态分布中采样的512维向量z通过Mapping网络得到潜变量w，它也是一个512维向量。然后将其分配给合成网络A中的每个位置，以获得最终的图像输出，这是一个非线性变换（系数是训练参数）。如果最终输出的分辨率是1024×1024，则有2^2$到2^{10}$的区块，每个区块有两个w输入，所以我们一共有18个w输入。

在StyleGAN中，我们输入了18次相同的w，但我们知道仅仅通过潜变量估计来推断w是不行的。所以我们用pSp来推断18个不同的w，这个潜伏空间叫做W+。我们称这个潜伏空间为W+。

我们来看看pSp的实际结构。

• 
• 
• 

与本文相关的类别

• 生成对抗网络(GAN)
• 图像2图像