[发明专利]三维人脸重建方法、装置、终端及计算机可读存储介质

说明书

本发明实施提供了一种三维人脸重建方法、装置、终端及计算机可读存储介质，其中方法包括：获取输入的单张人脸图像的二维人脸特征点集；获取二维稀疏形状点集到三维稀疏形状点集之间的第一耦合关系，根据所述第一耦合关系计算得到所述二维人脸特征点集对应的三维稀疏形状点集；获取三维稀疏形状点集到三维稠密形状点集的第二耦合关系，根据所述第二耦合关系计算所述三维稀疏形状点集对应的三维稠密形状点集；对所述三维稠密形状点集进行纹理渲染，得到重构的三维人脸模型。本发明实施例克服了现有的三维人脸重建方式对光照和人脸反照率苛刻的问题，提高了三维人脸重建的精确度，且算法复杂度不高，保证了运算速度。

技术领域

本发明属于计算机视觉技术领域，尤其涉及一种三维人脸重建方法、装置、终端及计算机可读存储介质。

背景技术

人脸是人类情感表达和交流最重要、最直接的载体。从古至今，人类就在不断尝试用不同的手段去描述和刻画人脸，从最早的绘画、雕塑，到现代出现的照片和电影。而随着计算机技术的不断发展，使人们对于复杂的人脸有了新的表示形式，追求更加真实的感受，正是在这样的背景下，将人脸三维数字化，即人脸的三维建模应运而生。真实感的人脸三维建模，不仅可以在人脸识别上获得重要应用，其在电影广告制作、人物动画、视频会议、计算机游戏、虚拟社区、人机交互以及医学和公共安全等应用中有着广阔的应用前景。

目前，三维人脸重建始终是一个极具挑战性的难题。从几何角度看，人脸具有极度复杂的几何形状和表面材质，必须通过各种技术手段来描述特征。同时，遮挡、光照、纹理信息以及表情动作都增加了三维重建的难度。虽然有很多的难题需要被克服，但是仍然有众多的研究者进行这方面的探索，原因有两种：第一，如上述所说，三维人脸重建在诸多领域有着广泛的应用前景；第二，就是现有的一些问题在二维人脸上得不到更好的解决。正因为人脸三维重建有着广泛的应用前景和重要的研究意义，人脸三维重建的研究已经成为机器视觉和人工智能领域的一个研究热点。目前，人脸三维重建方法主要有以下几种：

(1)基于明暗模型重构(shape-from-shading，SFS)的方法。该方法主要是使用物体的光照和阴影的线索来进行三维重构，通常应用一个光照约束去表示重建的3D形状的和输入图像之间的总体光亮误差，为了从重建的3D模型中得到人脸图像，SFS通常需要知道这个场景下自然环境中非常复杂的光照情况和人脸的反射属性。因此，大部分基于SFS的方法进行三维人脸重构时，光照和人脸反照率必须作为已知条件或者必须很好的估计。

(2)基于三维模型拟合(3D model fitting，3DMF)的方法。这种方式最主要的限制是对相机的参数的显著估计，因为坐标下降的方法很容易达到局部最小值，无法保证最优的估计，导致对人脸姿态估计不准，重建精度不高。

(3)基于运动恢复结构(structure from motion，SFM)的方法。这种方式通过在多幅未标定图像中检测匹配特征点集，使用数值方法恢复摄像机参数与三维信息的一种方法，需要在图像中检测需匹配的特征点集，以恢复摄像机之间的位置关系。基于SFM方法的优点是对图像的要求非常低，可以采用视频图像序列进行三维重建，可以使用图像序列在重建过程中实现摄像机的自标定，省去了预先对摄像机进行标定的步骤，可以对大规模场景进行重建，输入图像数量也可以达到百万级，非常适合自然地形及城市景观等三维重建。然而，基于SFM的缺点就在于运算量过大，同时由于重建效果依赖特征点的密集程度，对特征点较少的弱纹理场景的重建效果比较一般，而且大多数SFM的方法只能重构稀疏的三维人脸模型，丢失了部分形状信息的3D人脸形状。

由此可见，现有的三维人脸重构方法存在有对光照和人脸返照率要求苛刻、重建精度不高或者运算量过大的问题。

发明内容

有鉴于此，本发明实施例提供了一种三维人脸重构方法、装置、终端以及计算机存储介质，以解决现有的三维人脸重构方法存在有对光照和人脸返照率要求苛刻、重建精度不高或者运算量过大的问题。

本发明实施例的第一方面提供了一种三维人脸重建方法，包括：