[发明专利]人脸纹理特征提取、3D人脸重建方法及设备及存储介质

权利要求书

1.一种人脸纹理特征提取方法，其特征在于，包括以下步骤：

提取人脸图像的2D人脸关键点；

根据人脸几何模型得到初始纹理图；

将人脸关键点映射到初始纹理图中得到关键点的初始位置；

预测每个关键点的运动场得到每个关键点在初始纹理图中的预测位置；

根据关键点的初始位置和预测位置构建变换，对初始纹理图进行扭曲得到最终的纹理图。

2.根据权利要求1所述的一种人脸纹理特征提取方法，其特征在于，所述根据人脸几何模型得到初始纹理图包括：

对人脸几何模型进行投影，确定人脸几何模型未被遮挡的顶点在人脸图像中的对应位置；

提取所述人脸几何模型未被遮挡的顶点在人脸图像中的对应位置的颜色信息；

将提取的颜色信息根据据人脸几何模型和纹理图之间的采样关系展开得到初始纹理图。

3.根据权利要求1所述的一种人脸纹理特征提取方法，其特征在于，采用神经网络模型预测每个关键点的运动场得到每个关键点的预测位置。

4.一种3D人脸重建方法，其特征在于，包括以下步骤：

根据人脸图像获取人脸几何模型；

采用权利要求1-3所述的人脸纹理特征提取方法基于人脸几何模型从人脸图像中提取人脸纹理图；

将人脸几何模型转化为2D方式的信息，所述2D方式的信息为深度图或法向量图；

将所述2D方式的信息和人脸纹理图输入至训练完后的神经网络模型中得到3D人脸的渲染图像。

5.根据权利要求4所述的一种3D人脸重建方法，其特征在于，所述获取人脸几何模型包括：

获取至少一个人脸图像的初始人脸几何模型并将所述至少一个人脸图像转换为第一剪影图像；

获取所述人脸几何模型的投影图像，并将所述投影图像转化为第二剪影图像；

调整人脸几何模型的相关参数及人脸几何模型相应优化区域的顶点坐标，使第二剪影图像和第一剪影图像的差异小于一阈值，获取此时第二剪影图像对应的人脸几何模型作为最终的人脸几何模型，所述人脸几何模型的相关参数包括与人脸形状相关的参数α、与人脸表情相关的参数β、尺度参数s、旋转参数R、平移参数t。

6.根据权利要求5所述的一种3D人脸重建方法，其特征在于，所述方法还包括：

对人脸图像进行语义分割得到至少一个语义分割区域，所述语义分割区域包括眼睛区域、眉毛区域、鼻子区域、嘴巴区域；

在人脸几何模型中确定分别与所述至少一个语义分割区域中每个语义分割区域相对应的顶点坐标；

所述调整人脸几何模型的相关参数及人脸几何模型相应区域的顶点坐标包括：

在保持其它语义分割区域相对应的顶点坐标不变的情况下，调整人脸几何模型的相关参数及一语义分割区域相对应的顶点坐标，使第一剪影图像和第二剪影图像的差异小于一阈值。

7.根据权利要求5所述的一种3D人脸重建方法，其特征在于，所述调整人脸几何模型的相关参数及人脸几何模型相应优化区域的顶点坐标，使第一剪影图像和第二剪影图像的差异小于一阈值包括：

将语义分割区域中未被遮挡的区域进行掩码处理得到未被遮挡区域的掩码图像；

根据人脸几何模型相应优化区域的顶点坐标、第一剪影图像、第二剪影图像、未被遮挡区域的掩码图像构建一损失函数；

求取损失函数对人脸几何模型的相关参数的导数；

利用梯度下降算法，根据梯度调整人脸几何模型的相关参数至损失函数最小。