[发明专利]人脸纹理特征提取、3D人脸重建方法及设备及存储介质

说明书

本发明公开了人脸纹理特征提取、3D人脸重建方法及设备及存储介质，该方法包括以下步骤：提取人脸图像的2D人脸关键点；根据人脸几何模型得到初始纹理图；将人脸关键点映射到初始纹理图中得到关键点的初始位置；预测每个关键点的运动场得到每个关键点在初始纹理图中的预测位置；根据关键点的初始位置和预测位置构建变换，对初始纹理图进行扭曲得到最终的纹理图。本方案通过将人脸关键点映射到初始纹理图中得到初始位置，并对每个关键点在初始纹理图中的位置进行预测，通过初始位置和预测位置对初始纹理图进行扭曲得到最终的纹理图，使得得到的纹理图更真实，减小3D人脸构建过程中渲染出的图像和实际图像感官差异，提高3D人脸模型的构建真实度。

技术领域

本发明属于3D人脸建模技术领域，具体涉及一种人脸纹理特征提取、3D人脸重建方法及设备及存储介质。

背景技术

基于图像的3D人脸重建是根据单张或有限数量的图像重建人脸，这些图像是在任意场景下，可以是任意设备拍摄的。基于图像的3D人脸重建现有常用的是基于可形变3D人脸模型(3D Morphable Model，3DMM)的方案，通过从图像中求取合适的可形变3D人脸模型参数，获得3D人脸模型。

3D人脸模型通常表示为网格mesh格式，由顶点vertex和三角面片face构成。每个顶点有3D坐标[x，y，z]，三角面片则定义了顶点之间的连接关系。通常三角面片的连接关系是不变的，调整顶点的坐标可以得到不同形态的人脸模型。3DMM作为一种参数化统计模型，模型的顶点3D坐标可以由公式表达：

其中，S是最终的人脸3D模型的顶点(vertex)的3D坐标，是统计意义下的平均人脸3D模型(平均几何)，B_id是根据统计模型得到的相互正交的一组线性基底，影响中性表情下的人脸几何形状，如脸型，五官形态等；B_exp是根据统计模型得到的相互正交的一组线性基底，对应于表情的编辑，也称为blendshape。B_id、B_exp为3DMM模型给定的固定值，给定任意一组合法的系数α、β，就可以确定出一个相应人脸的3D几何形状。而所谓的从人脸图像恢复出3D几何信息，指的就是求解出合适的一组系数α和β，使得S表述的人脸形状渲染后和给定的人脸图像相符合。

一些3DMM模型也包括对纹理的统计模型T：

其中，是平均纹理，B_t为3DMM模型给定的固定值，求取合适的系数δ可以获得不同的纹理，但纹理真实感偏低。

现有的从图像中估计可形变的3D人脸模型参数的方案，其利用神经网络从人脸图像中回归出模型参数，根据模型参数构建出人脸几何模型和纹理，在进行渲染。但是，现有技术中纹理并不是取自真实图像，使得渲染出的图像和实际图像感官差异大，导致计算视觉差异并不合理。如何减小渲染出的图像和实际图像感官差异，提高3D人脸模型的构建真实度，是值得研究的。

发明内容

本发明为了解决现有纹理提取不真实导致渲染出的图像和实际图像感官差异大的问题，提供一种人脸纹理特征提取、3D人脸重建方法及设备及存储介质，其通过预测人脸关键点的运动场，通过预测的运动场对纹理图进行扭曲，使得提取的纹理图更准确，减小渲染出的图像和实际图像感官差异，提高3D人脸模型的构建真实度。

为了实现上述目的，本发明采用以下技术方案：

本发明第一方面提供一种人脸纹理特征提取方法，包括以下步骤：

提取人脸图像的2D人脸关键点；

根据人脸几何模型得到初始纹理图；

将人脸关键点映射到初始纹理图中得到关键点的初始位置；

预测每个关键点的运动场得到每个关键点在初始纹理图中的预测位置；