[发明专利]基于生成对抗网络的高保真人脸隐私保护方法和系统

说明书

本发明提供一种基于生成对抗网络的高保真人脸隐私保护方法和系统，所述方法包括：对源人脸图像进行人脸识别，获取源人脸的多尺度身份特征；基于输入的目标人脸图像，至少获得目标人脸边界框和人脸关键点信息；提取获得的人脸关键点中姿态和/或表情相关的特定关键点，基于提取的特定关键点获得人脸关键点连线图；基于生成对抗网络GAN获得保真人脸隐私保护图像，包括：以目标人脸图像和源人脸的多尺度身份特征作为输入，利用Unet神经网络结构生成具有源人脸的身份和目标人脸的属性的保真人脸隐私保护图像；将保真人脸隐私保护图像和人脸关键点连线图作为共同输入来判别保真人脸隐私保护图像的识别结果，并基于识别结果优化Unet神经网络结构。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于生成对抗网络的高保真人脸隐私保护方法和系统。

背景技术

目前人脸合成与替换技术作为一种新的计算机视觉技术受到越来越多的关注，其在娱乐、虚拟现实、隐私保护、视频聊天和其他视觉技术方面具有很大的应用价值。当前主流的人脸合成与替换技术模型较为复杂，对硬件要求高且推理时间长。此外，由于每帧的生成人脸不能很好地保留该帧目标人脸的属性(例如：姿态、表情、肤色、光照、妆容等)，导致出现时域上的不连续、不稳定等问题，其在视频应用上效果较差，同时导致在满足隐私保护的情况下往往使得目标人脸图像失真严重，目前难以做到在人脸高保真状态下良好的隐私保护效果。

因此，如何实现目标人脸高保真状态下良好的隐私保护，是一个有待解决的问题。

发明内容

鉴于此，本发明提出了一种基于生成对抗网络的高保真人脸隐私保护方法和系统，以消除或改善现有技术中存在的一个或更多个缺陷。

根据本发明的一方面，提出了一种基于生成对抗网络的高保真人脸隐私保护方法，该方法包括以下步骤：

源人脸身份编码步骤，用于对源人脸图像进行人脸识别，获取源人脸的多尺度身份特征；

人脸及关键点检测步骤，用于基于输入的目标人脸图像，至少获得目标人脸边界框和人脸关键点信息；

关键点连线图获取步骤，用于提取获得的人脸关键点中姿态和/或表情相关的特定关键点，并基于提取的特定关键点获得人脸关键点连线图；

基于生成对抗网络GAN获得保真人脸隐私保护图像，包括：

图像生成步骤，用于以目标人脸图像和源人脸的多尺度身份特征作为输入，利用Unet神经网络结构合成具有源人脸的身份和目标人脸的属性的保真人脸隐私保护图像；

判别步骤，用于将所述保真人脸隐私保护图像和所述人脸关键点连线图作为共同输入来判别所述保真人脸隐私保护图像的识别结果，并基于识别结果优化所述Unet神经网络结构。

在本发明一些实施例中，所述身份编码步骤包括：采用k-shot策略来获取源人脸的多尺度身份特征；所述采用k-shot策略来获取源人脸的多尺度身份特征包括：基于k张源人脸图像获得k个身份特征，对得到的k个身份特征求平均来得到最终身份特征；基于所述最终身份特征获得源人脸多尺度身份特征。

在本发明一些实施例中，所述图像生成步骤包括：身份迁移步骤，通过源人脸图像的实例归一化处理、层归一化处理和基于源人脸多尺度身份特征的深度学习，得到源人脸图像的第一自适应输出特征；姿态表情控制步骤，基于目标人脸图像的实例归一化处理、层归一化处理和基于人脸关键点连线图的深度学习，得到目标人脸图像的第二自适应输出特征；基于所述第一自适应输出特征和第一自适应输出特征利用Unet神经网络结构生成具有源人脸的身份和目标人员的属性的保真人脸隐私保护图像。

在本发明一些实施例中，所述第一自适应输出特征符合以下公式：

所述第二自适应输出特征符合以下公式：