[发明专利]一种基于三维人脸生成和图像融合的方法及设备

权利要求书

1.一种基于三维人脸生成和图像融合的方法，其特征在于，所述方法包括：

接收待处理人脸图像，并基于预设神经网络模型获取待处理人脸图像的深度信息；

根据所述深度信息和预设三维人脸模型，生成待拼接人脸图像的三维人脸模型；

判断所述待处理人脸图像的脸部是否存在非肤色区域，根据判断结果生成合格人脸图像；

基于所述合格人脸图像和所述待拼接人脸图像的三维人脸模型，拼接成带贴图的三维人脸模型；

对所述带贴图的三维人脸模型进行皮肤融合处理，生成三维人脸模型；

其中，所述合格人脸图像为脸部不存在非肤色区域的人脸图像。

2.根据权利要求1所述的方法，其特征在于，接收待处理人脸图像，并基于预设神经网络模型获取待处理人脸图像的深度信息，具体为：

所述预设神经网络模型的损失函数包括待处理人脸图像与预测图像的差值，所述预测图像为三维人脸模型在三维场景中的投影图像；

所述预设神经网络结构中包括残差网络块模型和卷积核，其中，预设数量的残差网络块模型不连接预设神经网络结构的全连接层；

所述训练数据为经过数据增强处理的数据，所述数据增强处理包括增加预设人脸图像的背景和改变预设人脸图像的旋转角度。

3.根据权利要求1所述的方法，其特征在于，所述预设神经网络模型是基于训练数据和预设神经网络结构生成的；

根据预设人脸图像的长度和宽度确定预设神经网络结构的初始参数，所述初始参数包括输入层的单元个数、各隐藏层的输入数量和输出数量、初始权重值；

所述预设人脸图像输入到输入层，基于前向传播算法和初始参数确定输出层结果；

根据所述输出层结果和所述训练数据确定所述损失函数；

基于最优化算法与反向传播算法按预设学习率进行训练，并根据训练的结果确定所述损失函数的最小损失值，其中所述预设学习率为基于适应性矩阵估计Adam算法确定的学习率；

根据最小损失值对应的权重值确定所述预设神经网络模型。

4.根据权利要求1所述的方法，其特征在于，根据所述深度信息和预设三维人脸模型，生成待拼接人脸图像的三维人脸模型，具体为：

基于深度信息生成骨骼信息；

基于骨骼信息调整预设三维人脸模型的骨骼；

基于调整的结果生成待拼接人脸图像的三维人脸模型。

5.根据权利要求1所述的方法，其特征在于，判断所述待处理人脸图像的脸部是否存在非肤色区域，根据判断结果生成合格人脸图像，具体为：

通过Mask遮罩和HSV模型对所述待处理人脸图像的脸部进行过滤，人脸内除了五官区域的其它区域为人脸肤色区域，所述人脸肤色区域内出现的与人脸肤色存在偏差的地方为非肤色区域；

若存在非肤色区域，则构造遍历模型的三角面信息，结合顶点信息将Mesh高亮，将非肤色区域标记出来，根据所述标记重新获得合格人脸图像；

若不存在非肤色区域，则将所述待处理人脸图像判定为合格人脸图像。

6.根据权利要求5所述的方法，其特征在于，若存在非肤色区域，则构造遍历模型的三角面信息，结合顶点信息将Mesh高亮，将非肤色区域标记出来，根据所述标记重新获得合格人脸图像，具体为：

存在非肤色区域，将所述非肤色区域显示到遍历模型上，保存所述遍历模型上所有顶点对应的图片上的UV信息，并将所述UV信息中颜色值符合预期的筛选出来；

基于筛选出来的UV信息，将其对应的顶点所在的所有三角面加入到结果队列中，得到所有的三角面队列，将三角面还原成Mesh信息，基于所述结果队列所得结果分类成不同的三角面信息；

基于所述三角面信息，结合顶点信息，通过cg代码将所述Mesh信息高亮出来，据此重新获得所述合格人脸图像。