[发明专利]一种跨模态特征学习和人脸合成的方法

说明书

本发明涉及一种跨模态特征学习和人脸合成的方法，以CycleGAN为基础模型，添加身份保留，并且考虑局部和全局的信息，提出一种具有全局—局部的图像翻译，用于异质人脸视图合成，这两种途径分别关注全局结构的合成和局部纹理的推断并将它们相应的特征图融合以进行进一步的过程以产生最终合成。

技术领域

本发明属于模式识别和计算机视觉领域，涉及异质人脸识别，特别涉及一种跨模态特征学习和人脸合成的方法。

背景技术

生成式对抗网络(GAN)作为一种优秀的生成模型，在图像到图像翻译领域展 现出巨大的可能性，相关的工作诸如，成对样本训练的模型诸如pix2pix，不成对样 本训练的模型CycleGAN，多模态图像翻译的模型StarGAN等。

异质人脸识别(HFR)是指跨不同视觉域匹配人脸的问题。它不仅仅涉及可见光 照片，还包括使用(1)不同的传感设备(例如，可见光与近红外或3D设备)；(2) 不同的相机设置和规格(例如，高分辨率与低分辨率图像)；(3)由画师手绘的图片 和由数字传感器自动地捕捉的图片(例如，法医素描画与数字照片)。

发明内容

本发明的目的在于克服现有技术的不足，提供一种跨模态特征学习和人脸合成的方法，以CycleGAN为基础模型，添加身份保留，并且考虑局部和全局的信息，提 出一种具有全局-局部(GL-CycleGAN)的图像翻译，用于异质人脸视图合成，这两 种途径分别关注全局结构的合成和局部纹理的推断并将它们相应的特征图融合以进 行进一步的过程以产生最终合成。

本发明解决其技术问题是通过以下技术方案实现的：

一种跨模态特征学习和人脸合成的方法，其特征在于：所述方法的步骤为：

1)学习一个合成函数来建模从其他模态的图像到可见光图像的映射，并在合成的过程中进行身份保留；

2)采用GL-CycleGAN的架构，G_Θg用于合成全局的结构，四个补丁网络G_Θl_i用于局部的细节刻画；

3)从四个人脸关键点中心裁剪位于关键点的贴片网络G_Θl_i，即左眼中心、右眼 中心、鼻尖及嘴中心；

4)进行特征图融合，整合来自全局和局部的信息；

5)生成损失，Lsyn作为若干个独立损失函数的线性组合。

而且，所述步骤1)的具体操作为：GL-CycleGAN的生成器包括Go和Gv，分 别为合成其他模态的图像的生成器和合成可见光图像的生成器，针对其中某一个生成 器来说，全局和局部的两条分支都包括一个编码器和一个解码器，其中和分别表示全 局结构生成和局部纹理刻画的过程。

而且，所述步骤3)的具体操作为：通过项目信息嵌入和邻域信息设置得分函数，每个贴片网络学习一组单独的卷积滤波器，用于将中心裁剪的贴片合成其相应的异质 贴片，位于关键点的贴片网络的架构也基于编码器-解码器结构。

而且，所述步骤5)的具体操作为：将四个局部网络的多个特征图融合到一个与 全局特征张量具有相同空间分辨率的单个特征张量，即将每个特征张量放在“模板界 标位置”，然后引入最大化融合策略以减少重叠区域上的拼接伪影；简单地连接每个 网络的特征张量以产生融合特征张量，将将其送到连续的卷积层以生成最终的合成输 出。

本发明的优点和有益效果为：

1、本发明一种跨模态特征学习和人脸合成的方法，CycleGAN网络的逼真程度 和身份信息的保留都达到了最佳，GL-CycleGAN对landmarks周围的设置单独的补 丁网络，同时关注全局和局部的图像翻译，对CycleGAN等产生artifacts的问题有明 显的改善。