[发明专利]基于草图的人脸图像生成方法及系统

说明书

本发明提出一种基于草图的人脸图像生成方法及系统，包括：通过特征提取网络提取手绘草图中人脸的多个部分，得到多个特征向量，将每个该特征向量在流形空间中的合理表达作为优化向量；利用特征映射网络，将优化向量解码并映射为特征张量，拼合所有特征张量得到完整的人脸特征张量，并利用图像合成网络，将该人脸特征张量，合成为高真实感的人脸图像。本发明的目的是解决上述现有技术的输入图像质量要求高，生成结果真实感较差的问题，提出了一种基于草图交互的高质量人脸图像生成方法及系统，该方法可以从用户手绘草图图像对应完整高真实感的人脸图像。

技术领域

本发明涉及计算机图形学和计算机视觉，尤其涉及对人脸面部图像合成和草图编辑的方法。

背景技术

随着深度学习的发展，视觉领域中图像编辑和翻译的工作越来越多，从手绘草图图像到真实人脸的迁移工作逐渐出现。然而，现有的解决方法大多基于专业的草稿图像或者从真实图像中提取到的轮廓图作为输入，在普通用户手绘出的草稿图像上表现不佳，目前尚无一面部图像合成的交互式系统出现。从草图图像生成真实人脸图像的技术在实际生活中有着广泛的应用，可用于犯罪调查，人物设计等各个方面。在上述应用中上，现有研究往往采用图像到图像的迁移方法，然而这种方法约束要尽可能的刻画人物形象的细节，当刻画的细节不够细致时往往很难产生真实的人脸图像，因此限制了使用用户的范围。

鉴于草图简单和易使用性，草图图像常被用来描绘物体或面孔图像，现有技术可以实现草图图像对人脸图像编辑的操作，但当只输入草图图像时却很难生成高质量人脸图像。经典的网络模型可以实现草图图像到真实图像的翻译，然而当输入为粗糙的或不完整的手绘草图时，往往难以生成真实结果。现有技术可以对草图补全并生成真实图像，对简单的物体如菠萝，草莓，等简单的物体表现良好，但是迁移至人脸图像生成上表现欠佳。

发明内容

为了解决手绘草图图像到真实人脸图像的生成和交互工作，本发明设计一基于草图的交互式系统。利用深度神经网络、数据先验，以及局部-全局处理的优化思路，将人脸图像进行剖分，对子区域进行优化处理后整合生成高质量的人脸图像。本发明的目的是解决上述现有技术的输入图像质量要求高，生成结果真实感较差的问题，提出了一种基于草图交互的高质量人脸图像生成方法及系统，该方法可以从用户手绘草图图像对应完整高真实感的人脸图像。并为该方法设计一使用软件，以阴影图的形式引导/帮助用户进行绘画创作，进而生成对应的真实图像。

针对现有技术的不足，本发明提出一种基于草图的人脸图像生成方法，其中包括：

步骤1、通过特征提取网络提取手绘草图中人脸的多个部分，得到多个特征向量，将每个该特征向量在流形空间中的合理表达作为优化向量；

步骤2、利用特征映射网络，将优化向量解码并映射为特征张量，拼合所有特征张量得到完整的人脸特征张量，并利用图像合成网络将该人脸特征张量合成为人脸特征图像。

所述的基于草图的人脸图像生成方法，其中该步骤1包括：

步骤11、对该手绘草图中人脸图像采用重叠窗口设置左眼区域、右眼区域、鼻子区域和嘴巴区域的分割区域，并通过反选左眼区域、右眼区域、鼻子区域和嘴巴区域的分割区域得到其他区域，对每个区域c单独提取特征

步骤12、以每个区域的特征作为训练数据，训练自动编码网络，得到编码器模型E^c，该自动编码网络包括多层解码器和多层编码器，并在编码器和解码器中间设有全连接层，且在编码器和解码器的每个卷积或反卷积操作之后添加一个残差块来构建隐含层描述子。

所述的基于草图的人脸图像生成方法，其中该步骤1包括：