[发明专利]一种人脸照片图像和素描图像的转换方法及系统

说明书

本发明公开了一种人脸照片图像和素描图像的转换方法及系统，包括：获取带转换的人脸源域图像并进行预处理；将预处理后的图像输入至训练好的循环生成对抗网络，输出转换后的人脸目标域图像；其中，所述循环生成对抗网络以遵循U‑Net模型架构并且包含下采样器、自注意力残差转换器和上采样器的神经网络作为生成器，以由卷积层和池化层组成的神经网络作为判别器。本发明方法采用了自注意力机制，在图像转换过程中集中关注面部区域，加强了对面部特征的约束，对背景等因素的干扰具有更好的鲁棒性，进一步提高合成质量。

技术领域

本发明涉及计算机视觉图像技术领域，尤其涉及一种人脸照片图像和素描图像的转换方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

素描人脸合成技术，作为计算机视觉中的热点研究，最初是被作为实现素描人脸识别的一个步骤被提出来的。素描是一种快速粗略显示对象或场景主要特征的使用单一色彩表现明度变化的绘画方式。

近年来，素描人脸合成技术作为异质人脸转换的一个重要分支已经被广泛应用于数字娱乐和刑事侦查领域。在法律执法中，警察通常使用犯罪嫌疑人的照片在由罪犯人脸照片组成的数据库中自动检索，但是在多数情况下，犯罪嫌疑人的照片并不容易获得；因此，一幅法医素描画像对于追踪嫌犯而言是非常关键的。在这种情况下，专业的素描画师根据目击者的描述或视频监控捕捉到的低分辨率人脸照片绘制的法医素描画像常常被用作寻找嫌疑人的替代品，然后再使用素描合成算法将素描画像转换为照片图像或者将数据库中的照片图像转换为素描画像，接着使用现有的人脸识别算法进行匹配识别。尽管要最终确定犯罪嫌疑人有一定的困难，但是使用画师绘制的嫌疑人的人脸素描画像在罪犯人脸照片数据库中搜索是非常有用的。这不仅能帮助警察缩小潜在疑犯的搜索范围，而且还能帮助目击者和画师根据检索出来的相似画像来调整所绘制的素描画像。目前，素描人脸识别技术已成功应用到法律刑侦中，素描合成技术也在数字娱乐、漫画制作中占据了重要地位。

传统的基于示例的方法，尽管在合成素描画像上取得了不错的效果，但其泛化能力较差，当测试样本与训练样本分布差异较大时就很难得到令人满意的效果，很难应用到非受控环境下获得的照片图像到素描画像的转换中，而且合成图像往往过于平滑忽视一些纹理信息。随着卷积神经网络(CNNs)的发展，图像转换任务取得了较大的突破，基于CNNs等模型的方法能够解决非受控环境下的样本与训练样本分布不一致问题。

但是，发明人发现，目前现有基于模型的素描人脸合成方法受限于CNN的局部感受野不能很好地处理全局视野中各特征之间的关系，导致合成图像纹理细节丢失。另外，基于生成对抗网络(GAN)架构的模型在训练过程中会出现不稳定性，从而导致梯度消失或爆炸等问题，也会影响最终图像的合成质量。

发明内容

为了解决上述问题，本发明提出了一种人脸照片图像和素描图像的转换方法及系统，利用循环生成对抗网络(Cycle-GAN)框架实现照片域和素描域图像的相互转换；采用多尺度梯度技术在保证合成图像质量的同时，也解决了GAN训练过程中的不稳定性。

在一些实施方式中，采用如下技术方案：

一种人脸照片图像和素描图像的转换方法，包括：

获取带转换的人脸源域图像并进行预处理；

将预处理后的图像输入至训练好的循环生成对抗网络，输出转换后的人脸目标域图像；

其中，所述循环生成对抗网络以遵循U-Net模型架构并且包含下采样器、自注意力残差转换器和上采样器的神经网络作为生成器，以由卷积层和池化层组成的神经网络作为判别器。

在另一些实施方式中，采用如下技术方案：

一种人脸照片图像和素描图像的转换系统，包括：

数据预处理模块，用于获取带转换的人脸源域图像并进行预处理；