下周CVPR 2018大会将开启，以下是东升国际官网科技在深度天生匹敌式模型方向，提出的基于三方博弈和信息对称的可控人脸天生算法。

论文：FaceID-GAN: Learning aSymmetry Three-Player GAN for Identity-Preserving Face Synthesis

作者：Yujun Shen, Ping Luo, Junjie Yan, Xiaogang Wang, Xiaoou Tang

论文链接：http://openaccess.thecvf.com/content_cvpr_2018/papers/Shen_FaceID-GAN_Learning_a_CVPR_2018_paper.pdf

FaceID-GAN生功成效展示：

简介

近年来，天生式匹敌网络(GAN)的提出和发展使得天生式模型(generative model)有了飞速的进取。然而，若何对天生过程进行有效操控(如使用前提天生式匹敌模型conditional GAN)，仍有很大的索求空间。本钻研以人脸天生为例，提出FaceID-GAN，它是一种能够维持身份信息不变，对人脸姿势和表情进行节造的天生式模型，大大提高了天生式匹敌网络(GAN)的可操控性。区别于传统GAN所解决的双方博弈问题，FaceID-GAN的重要设计思想基于“三方博弈”(3-player game)和“信息对称”(information symmetry)。大量的尝试了局批注，该步骤能够很好地在身份、姿势、表情方面对人脸天生过程进行节造。同时，该模型的设计理想能够轻松地利用于其他有前提的天生式问题上。

天生式模型是机械进建的沉要分支之一，其指标是从真实数据中进建数据遵从的散布，而后凭据进建到的散布进行采样，天生足够真实的数据。匹敌天生网络(GAN)是目前最有效的天生式模型之一(如图1(左)中虚线部门所示)，它蕴含两个部门：一是判断器Discriminator，用来分辨真实数据Xr的散布和天生数据Xs的散布;二是天生器Generator，利用随机噪声Z作为输入天生数据Xs，其主张是进建到真实数据的散布，使得天生数据Xs足以蛊惑判断器D。两者进行博弈，当达到平衡点的时辰，判断器D已经无法分辨真实数据散布与天生数据散布，能够以为天生数据已经足够真实。

图1：本文提出的FaceID-GAN和传统GAN的比力

当对天生过程增长限度前提时，好比节造天生人脸的身份信息和输入的人脸一样，如图1(左)所示，常见做法是增长一个图像分类器Classifier。分类器C的指标是对人脸的身份信息进行分类，这里既蕴含对真实图片Xr进行分类(确保C提取的是身份信息而不是其他信息)，同时蕴含对天生图片Xs进行分类(起到监督节造Xs身份的作用)。此时天生器G不仅要满足天生图片Xs能够蛊惑判断器D，同时还要满足天生图片Xs被分类器C分到与相应的输入图片Xr一样的类别。

然而，此类步骤对于身份信息的维持水平并不高，本文作者以为原因有以下两点。第一，分类器C在这一框架中并没有参加到天生器G与判断器D的博弈傍边，仅仅起到了为天生数据Xs提供身份监督的作用，约束前提不够强。第二，从图1(左)中能够看出，对于天生器G来说，身份信息的监督是由分类器C提供的;而身份信息的输入则直接起源于Xr。这不仅增长了天生器G的进建难度(进建数据散布的同时，还要进建提取身份信息)，并且整个网络中存在对身份信息的两套编码(别离来自天生器G和分类器C)，两者的不统一大大增长了网络的收敛难度。

基于三方博弈和信息对称的可控人脸图像天生

为此，本文所提出的FaceID-GAN进行了以下改进(如图1(右)所示)。第一，将原有的“双方博弈，一方监督”扩大为“三方博弈”。即分类器C在对真实图片Xr的身份信息进行分类的同时，还要对真实图片Xr和天生图片Xs的身份信息进行分歧的分类。具体来说：如果真实图Xr中有N个身份，那么分类器C要进行2N分类。其中，将Xr的分歧身份分到前N类，将相应天生的Xs的分歧身份分到后N类(即真假分歧分类)。与此同时，天生器G在身份信息方面与分类器C进行博弈。类比天生器G和判断器D之间的博弈，分类器C试图从身份信息方面将真实图Xr和天生图Xs分辨隔，而天生器G试图蛊惑分类器C。这样设计的益处在于，在训练过程中，分类器C从真假图片的身份信息上施加约束前提，而这一约束前提随着天生器G天生图片身份类似度的提高而不休加强，反过来促使天生器G天生身份信息维持度更高的图片。

第二，提出了基于信息对称的模型框架。即天生器G不再直接以真实图片Xr作为输入，取而代之的是由分类器C从Xr中提获得到的身份信息。这样改进的益处在于，天生器G毋庸沉新进建身份信息，整个网络中只存在身份信息的一套编码(来自分类器C)。同时，对天生器G来说，身份信息的输入和监督都由分类器C提供，统一了评价尺度，使得网络更容易收敛。

第三，为了进一步节造天生人脸的姿势和表情，本步骤利用3DMM模型对人脸进行建模，并参与到FaceID-GAN的训练框架中。3DMM是一种可能将二维人脸投射到三维空间的模型，其参数重要蕴含状态(shape)、表情(expression)和姿势(蕴含放缩、平移和旋转，本文重要思考旋转)。同身份信息一样，姿势和表情是人脸的额表信息。如图2所示，本文作者在框架中增长参数提取器P对真实图片Xr进行此类信息的提取，同时利用参数提取器P对天生图片Xs进行姿势表情的监督。与分类器C所分歧的是，Xs和Xr必要在身份信息上维持不变，而在姿势和表情方面能够节造(可变)，因而参数提取器P并不与天生器G进行博弈，仅仅起到监督的作用，但依然使用“信息对称”的设计思想。

图2：

FaceID-GAN的训练框架

具体训练框架如图2所示，给定一张输入真实图像Xr，通过度类器C提取出身份信息，通过参数提取器P提取出姿势表情信息(即3DMM参数)，而后利用函数g(·)对参数中的姿势和表情部门进行批改(由于3DMM参数中的状态部门与身份有关，因而不做批改)，得到指标信息(即为节造天生相应的姿势表情所对应的参数)。天生器G以身份信息、指标姿势表情信息和噪声z为输入，输诞天生图像Xs。天生图像Xs利用同样的分类器C和参数提取器P进行监督(前后两个C和两个P均共享参数)，以保障身份的维持，以及姿势表情的可控。与此同时，天生器G和判断器D在图像真实性上进行匹敌，天生器G和分类器C在身份信息上进行匹敌，实现三方博弈。(注：图2中的?(·,·)，dcos(·,·)，dl2(·,·)，R(·)代表分歧的损失函数)。

尝试了局

图3和图4展示了FaceID-GAN模型的人脸天生了局。由图3中能够看出，FaceID-GAN所实现的高质量人脸天生，在很好地维持输入图片的身份信息的同时，能够天生陆续变动的姿势和表情。图4中的第一行展示了指标3DMM参数所对应的三维人脸模型，第一列为输入图片。从行列的交叉比力中能够看出，FaceID-GAN可能将身份信息和姿势表情信息剥脱离来，鲁棒地实现身份的维持和姿势表情的可控。

图3：

FaceID-GAN天生了局，左上角为输入图片，

前两行为分歧给定姿势前提下的天生图像，

第三行为分歧给定表情前提下的天生图像

结论

本文作者以为，此框架不仅合用于人脸天生，还能够用于设计解决其他有前提的天生模型。其遵循的准则为：真实图像和天生图像选取一样的评价尺度，维持信息的前后对称。同时，信息中必要维持不变的部门(如身份信息、图像真实性)进行匹敌博弈，必要节造扭转的部门(如姿势、表情)不进行匹敌。在FaceID-GAN中具体阐发为，天生器G的信息输入和信息监督都是通过度类器C和参数提取器P得到的，体现了信息对称准则。同时，为了保障天生图像真实性与输入图像一样，天生器G与判断器D进行匹敌;为了保障天生图像身份信息与输入图像一样，天生器G与分类器C进行匹敌;为了节造扭转天生图像的姿势和表情，天生器G与参数提取器P不进行匹敌。沿着这一思路，三方博弈能够扩大至多方博弈，解决越发复杂的天生问题。