在CVPR 2021上，东升国际官网通用智能通用视觉团队针对现有的人脸深度伪造技术发展对社会安全方面造成了威胁的景象，构建了一个目前维度最大最丰硕的公开数据集和评测基准。在数据规模方面，ForgeryNet蕴含了 290万张图像和221,247个视频，15幼我脸深度伪造操作（其中蕴含7个图像层面的伪造步骤，8个视频层面的伪造步骤），参与了多种扰动（36种以上的扰动）以仿照真实世界中遇到的挑战，并蕴含丰硕数据标注以供钻研者进行索求（其中蕴含630万个分类标签，290万个伪造空间定位标注和221,247个时序伪造标注）；在评测步骤上，提出了四种分歧的图片级和视频级评测步骤。我们但愿ForgeryNet丰硕的数据、标签、质量和多样性可能推进人脸伪造分析等领域的进一步钻研和创新。

这项钻研由东升国际官网通用智能通用视觉团队、北京邮电大学、北京航空航天大学、中国科学技术大学、南洋理工大学共同实现。

论文名称：

ForgeryNet: A Versatile Benchmark for Comprehensive Forgery Analysis

Part 1 问题和挑战

真切的人脸深度伪造技术，尤其是最近的深度进建的DeepFake技术引起了宽泛的社会关注，人们不安这些技术可能被恶意滥用以糊弄性地伪造人脸？⒂糜诿娌课痹旆治龅目康米〔街，以分辨图像和视频是否被把持以及在何处被把持是推算机视觉中一个沉要方向。近年来人脸伪造的数据集已经被提出好多，但是，现有的数据集依然存在有局限性：

1. 数据不足：目前的数据集最多蕴含10万个伪造视频或24万张伪造图片。ForgeryNet提供了至少12万个伪造视频和上百万的伪造图片。

2. 多样性不足：目前的数据集最多只用了8种面部篡改方式和19种后处置扰动。ForgeryNet从人脸位姿、表情、光照、场景、人脸大幼等多个维度，网络了分歧相机采集、分歧分辨率的未受控原始数据，使用了 15种分歧的步骤对面部进行批改，并将36种后处置扰动方式的多种组合利用于天生的视频/图片上。

3. 机能鼓和：目前很基础的深度进建模型，就能够在当前数据集上达到极度好的了局。这是由于现有的数据集场景较为单一，和真实的场景有差距。

4. 数据标注和工作多样性不足：现有的数据集往往只关注于视频/图片是否被把持的二分类了局中，较少提供其他的标注信息。在这个数据集中，我们不仅提供了真实和伪造的2分类标签，还提供了具体伪造的步骤、伪造的空间地位的掩码和功夫拼接的标签信息。同时，为了丰硕伪造分析的维度，我们还提出了四个伪造分析的工作，别离是图片分类、视频分类、空间定位和功夫定位。

Part 2 数据集丰硕的数据和标注

我们从四个数据集中网络角度、表情、身份、照明、场景等各类维度的原始数据。ForgeryNet 蕴含了 290 万张图像和221,247个视频，15幼我脸深度伪造操作（其中蕴含7个图像层面的伪造步骤，8个视频层面的伪造步骤），扰动（36种以上的扰动）和数据标注（其中蕴含630万个分类标签，290万个伪造空间定位标注和221,247个时序伪造标注），各类伪造的数据散布，如图2所示。与各类伪造数据集进行比力， ForgeryNet在规模和多样性方面均超过任何其他数据集。它提供视频和图像两种数据，伪造数据是通过2大类中的15种把持步骤构建的，具体的步骤将在后面介绍。

图 1 与其他基准的对比

图 2 视频及图片伪造数据散布图

Part 3 伪造步骤介绍

图 3 伪造步骤分类

3.1 身份信息保留的伪造方式

图 3（a）中的身份保留伪造步骤保留了的身份，并且以的对应属性驱动扭转了的表情、嘴、头发和姿势蹬纂身份无关的内容。我们选取八种伪造步骤，将其分为两个子类型：

1）通过面部作为沉现的把持方式，(i,a)保留了其身份，但是其固有属性如姿势、嘴巴作为和表情受到了属性源的把持并形成了把持，其中指a暗示属性。

2）通过面部编纂的把持方式，(i,a)的表下属性产生了变动，例如面部毛发、春秋、性别和种族，以获得。

3.2 身份信息批改的伪造方式

图3（b）中的身份变动的伪造步骤将的身份信息代替为的身份信息。我们选取了7种伪造步骤，共分为三种类型：

1）人脸迁徙将身份有关的内容和身份无关的内容（例如表情和姿势）都从转移到。

2）身份互换仅将s身份从源互换到指标，这意味着身份无关的内容由保留。

3）人脸仓库把持指的是陆续对视频/图片进行保留身份和批改身份的把持行为。

Part 4 伪造的流程

我们别离从换脸、面部编纂、作为沉现的三个类别共15种步骤对网络的数据进行面部伪造，整个天生的步骤如图4所示。

图 4 图像把持示意图

 (a)~(c) ,指标图像始终由暗示，而面部伪造的驱动源?则有多种前提的体式，如图像、图像序劣注草图、人脸五官解析的掩码、音频、标签，甚至是噪声。我们首先在这一步中对进行裁剪和对齐指标人脸，而后将指标人脸和源数据转换为中央暗示大局，例如 UV 贴图、特点向量、3DMM参数等。

 (d) 通过15种分歧的面部伪造步骤（它们别离基于编码器-解码器结构、匹敌天生网络结构、循环神经网络结构等）对处置过的脸图进行伪造脸图天生。

 (e-f) 为了获得齐全的伪造指标图像，将伪造指标人脸沉新渲染回指标齐全图像，以获得。出格地，1) 可所以如图 4 (e-1) 所示的面部，其中蕴含从眉毛到下巴的区域。2) 也可所以一个面部天堑框，如图 4 (e-2,3) 所示，凭据分歧的伪造法式，该天堑框与原始指标面部维持一样的天堑框。

 (g) 为了更好地反映现实世界中的数据散布，我们对伪造数据施加了蕴含36种类型的摄动扰动。我们遵循图像和视频质量评估中的通例做法，仿照了压缩、传输、捕获、色彩会失真，同时还提供了组合两种以上扰动的多沉扰动。

Part 5 评测尺度

5.1 伪造图片分类

在给定伪造图像的情况下，我们提供了三种类型的伪造标签，即用于2分类（真实/伪造），3分类（真实，使用身份代替伪造步骤，使用伪造且保留身份的伪造步骤）和n分类（n=16，真实和15种伪造步骤）分类工作。这些标签使索求分歧的伪造类型或步骤之间的有关性成为可能。

在图片分类工作中，我们提出了两个评测规划：

规划1：伪造步骤内部评估。在伪造步骤内部评估中，训练集中的所有真实数据和伪数据都用于训练模型，而验证集用于评估。在 ForgeryNet 中凭据我们提供的标注，能够实现伪造的2分类(真/假)、3分类(真/身份信息保留的伪造方式/f身份信息批改的伪造方式)、n分类（n=16, 真和15种伪造步骤）。

规划2：交叉伪造步骤评估。为了进一步利用东升国际官网数据评估训练的泛化能力，我们通过使用一种特定类型的操作训练评估的取证步骤并与其他类型的测试进行交叉伪造评估。伪造类型可所以某种伪造步骤大类（例如，代替身份），也可所以特定的步骤（例如，ATVG-Net）。

我们测试了多种算法基线，Acc分数显示，随着类别数量的增长，分类变得越发难题，而mAP指标批注，判断能力反而变得更高。这批注更多的辅助信息可能使取证模型更具分辨性。

图 5 伪造图片分类分析步骤评估了局

图 6 交叉伪造步骤评估机能表

5.2 伪造空间定位

与分类工作相比，空间伪造订位旨在指定伪造区域。在ForgeryNet中提供了图像及其伪造部门的掩码图用于训练空间定位模型。

我们在伪造空间定位中评估了直接回归和其他两种宰割步骤的机能。在图7(c)中，很难检测到轻微的髯毛变动，而在图7(d)中，现实图像在操作时被误判。

5.3 伪造视频分类

同伪造图像分类一样，我们提供了伪造步骤的大类和步骤标签。在ForgeryNet中凭据我们提供的标注，能够实现伪造的2/3/n分类和跨伪造步骤的泛化性测试。

5.4 伪造时序定位

图 8 伪造时序定位分析

对于每个视频，要评估的取证步骤都有望提供伪造片段的功夫天堑和相应的相信度值。指标是天生高质量建议，这些建议涵盖拥有高功夫沉叠和召回的把持段，我们使用主流的BSN和BMN步骤对伪造的时序片段进行定位，其机能指标如图8和表所示。

Part 6 结语

本文提出了一个越发全面的深度伪造分析基准ForgeryNet，为图像和视频水平的人脸伪造分析。与现有的人脸伪造数据集相比，ForgeryNet数据起源宽泛、伪造步骤和质量多样、注解丰硕，可能推进人脸伪造分析等领域的进一步钻研和创新。对于将来的工作，我们欢迎有兴致的钻研人员贡献更多新鲜的面部伪造步骤，或对数据集进行更多的伪造分析，以推进深度伪造领域的发展。

论文链接

https://arxiv.org/abs/2103.05630

Project

https://yinanhe.github.io/projects/forgerynet.html