[发明专利]一种基于三维人脸生成和图像融合的方法及设备

说明书

本发明公开了一种基于三维人脸生成和图像融合的方法及设备，该方法为：接收待处理人脸图像，并基于预设神经网络模型获取待处理人脸图像的深度信息；根据所述深度信息和预设三维人脸模型，生成待拼接人脸图像的三维人脸模型；判断所述待处理人脸图像的脸部是否存在非肤色区域，根据判断结果生成合格人脸图像；基于所述合格人脸图像和所述待拼接人脸图像的三维人脸模型，拼接成带贴图的三维人脸模型；对所述带贴图的三维人脸模型进行皮肤融合处理，生成三维人脸模型。采用了新颖的神经网络结构、损失函数的优化和人脸骨骼的联动措施，提高了深度信息的准确度。将用户的脸部模型，应用于任何的虚拟形象模型上，并达到无缝拼接，以及肤色的完美融合。

技术领域

本发明涉及人脸处理技术领域，尤其是涉及一种基于三维人脸生成和图像融合的方法及设备。

背景技术

随着人工智能迅速地发展，市场上也出现了越来越多的与AI换脸、人脸识别相关的技术和产品，如视频AI换脸等，通过用户提供的照片，以及人脸关键点判断五官，再将用户脸部五官特征替换到视频原有的人脸上。通过相机扫描人脸形成3D人脸重建的过程中，需要获得人脸的深度信息去还原人脸模型。为了获得人脸的深度信息，通常需要引入深度探测感应系统，如苹果的FaceID中的原深感摄像头(TrueDepth Camera)系统。

目前现有技术中存在以下弊端：提取的人脸深度信息的准确性达不到要求，由于人脸是一个深度敏感的区域，需要精确的深度信息，但在神经网络中增加深度通常伴随着梯度消失，且信息损耗程度大，这会对3D人脸的效果和是否与拍照人相似程度产生重大负面影响。最后，AI换脸等方法，只是替换照片，并不能获得用户真实五官轮廓的深度数据，导致效果不够真实，不同用户的脸部肤色不一致也会导致合成到目标身上后，颜色有反差。

因此，如何提高三维人脸图像深度信息的准确度和减少人脸合成时肤色反差，是本领域技术人员亟待解决的技术问题。

发明内容

本发明提供一种基于三维人脸生成和图像融合的方法，用以解决现有技术中人脸图像深度信息的准确度低、人脸合成时肤色反差大的技术问题，该方法包括：

接收待处理人脸图像，并基于预设神经网络模型获取待处理人脸图像的深度信息；

根据所述深度信息和预设三维人脸模型，生成待拼接人脸图像的三维人脸模型；

判断所述待处理人脸图像的脸部是否存在非肤色区域，根据判断结果生成合格人脸图像；

基于所述合格人脸图像和所述待拼接人脸图像的三维人脸模型，拼接成带贴图的三维人脸模型；

对所述带贴图的三维人脸模型进行皮肤融合处理，生成三维人脸模型；

其中，所述合格人脸图像为脸部不存在非肤色区域的人脸图像。

优选的，接收待处理人脸图像，并基于预设神经网络模型获取待处理人脸图像的深度信息，具体为：

所述预设神经网络模型的损失函数包括待处理人脸图像与预测图像的差值，所述预测图像为三维人脸模型在三维场景中的投影图像；

所述预设神经网络结构中包括残差网络块模型和卷积核，其中，预设数量的残差网络块模型不连接预设神经网络结构的全连接层；

所述训练数据为经过数据增强处理的数据，所述数据增强处理包括增加预设人脸图像的背景和改变预设人脸图像的旋转角度。

优选的，所述预设神经网络模型是基于训练数据和预设神经网络结构生成的；

根据预设人脸图像的长度和宽度确定预设神经网络结构的初始参数，所述初始参数包括输入层的单元个数、各隐藏层的输入数量和输出数量、初始权重值；

所述预设人脸图像输入到输入层，基于前向传播算法和初始参数确定输出层结果；