[发明专利]一种监督可控的人脸多属性分离生成的方法

说明书

本发明公开了一种监督可控的人脸多属性分离生成的方法，方法包括以下步骤：收集人脸数据集合作为神经网络训练数据集；设计监督可控的人脸多属性分离MDCS神经网络；将收集的训练数据集作为MDCS神经网络的训练数据集，对MDCS神经网络进行训练；将待提取属性的人脸图像输入训练完成的MDCS神经网络，生成指定属性的目标人脸图像。本发明利用设计的MDCS神经网络，其可以根据客户需要定制的目标和现有的数据标签集合来进行人脸属性的分离与生成，解决全监督人脸生成方法标记属性过程繁琐，降低标记人员的工作量；且无监督的人脸生成方法生成图像质量低，无法满足部分需要指定特定监督信息的应用场景的情况。

技术领域

本发明属于人脸生成技术领域，具体涉及一种监督可控的人脸多属性分离生成的方法。

背景技术

人脸生成技术，对于各个产业有着巨大的辅助作用。特别是人脸生成技术中指定目标条件的人脸生成方法，在各个行业中都用巨大的潜在利用价值：在医美行业中，其可以帮助客户快速客制化其理想的展示状态，使得客户经理得以快速了解客户需求；在美妆产业中，该技术可便捷地在客户的面孔上渲染客户所选择的产品，且尽可能地模拟真实场景以让客户感受商品与之的契合程度；在刑侦过程中，存在所涉摄像头没有清晰记录目标人员的正面肖像时，人脸生成技术还可以通过人脸侧面肖像还原人脸的正面肖像，这对于刑侦人员侦破案件具有重要的意义。与此同时，人脸生成技术还是突破人脸识别技术瓶颈的方式之一。

当前现有指定目标条件的人脸生成方法中，Lample G等人、Choi Y等人以及专利“一种可控制属性的人脸生成方法、装置、系统及介质”等提出的全监督人脸生成方法虽可以控制目标人脸的单个或多个属性控制生成，但对于每一个控制属性都需要进行标记，而对于图片中光照，遮挡这类的属性，没有一个清晰的标准和分类，这对于属性标记人员而言，工作量是相当巨大和困难的。

Higgins I等人、Kim H等人以及Hu Q等人提出的人脸生成方法虽不需要监督信息，但是生成图像质量较低，对于某些具有高级语义的属性，无监督的生成方法没有办法分离并控制，且在某些应用场景中，指定特定的监督信息是必须的。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提出一种监督可控的人脸多属性分离生成的方法，该方法首先设计MDCS神经网络，利用MDCS神经网络根据客户需要定制的目标和现有的数据标签集合来进行人脸属性的分离与生成，解决全监督人脸生成方法标记属性过程繁琐的问题，降低标记人员的工作量。

为了达到上述目的，本发明采用以下技术方案：

本发明提供的一种监督可控的人脸多属性分离生成的方法，包括以下步骤：

收集人脸数据集合作为神经网络训练数据集，所述人脸数据集合中每一实例由共同的属性因子组成，所述属性因子包括肤色、发型、刘海、眼睛、口罩以及光线的一种或多种；

设计监督可控的人脸多属性分离MDCS神经网络，所述MDCS神经网络为一个端到端的神经网络，包括四个子网络，分别为负责将输入高维人脸图像转换为低维特征向量的编码网络Encoder、负责将低维特征向量转换为高维人脸图像的解码网络Decoder、负责对抗训练和多属性分类的判别网络Discriminator以及负责辅助输入图像属性解耦的分类网络Classifier，四个子网络均包括卷积层、归一化层以及全连接层；

将收集的训练数据集作为MDCS神经网络的训练数据集，对MDCS神经网络进行训练，将多张人脸图像通过Encoder生成多个特征向量，特征向量混合，得到混合特征向量，混合特征向量恢复，得到与原始特征向量对应的生成人脸图像；将多张原始人脸图像与生成人脸图像输入Discriminator，将原始图像对以及生成人脸图像输入到Classifier，计算目标函数，循环优化并更新网络参数，直至目标函数收敛，保存训练完成的MDCS神经网络参数；

将待提取属性的人脸图像输入训练完成的MDCS神经网络，生成指定属性的目标人脸图像。