[发明专利]一种基于单幅照片的三维人脸建模方法及系统

说明书

技术领域

本发明涉及计算机图形学和计算机视觉领域，具体涉及一种基于单幅照片的三维人脸建模方法及系统。

背景技术

在计算机图形学和计算机视觉领域，三维人脸建模是最困难和最具挑战性的问题之一，同时，它也是包括在物理学、生理学以及心理学等不同领域的跨学科问题。

随着硬件计算能力和计算机图像学的飞速发展，人们已经可以用计算机和移动设备产生各种各样高质量的图像以及3D模型，计算机构造的虚拟人物对大家来说早已不陌生，当下移动设备也具有较强的三维图像处理能力，人们对三维建模的真实感、实时性和便利性的等要求也越来越高。自上世纪七十年代起，三维人脸建模就成为了计算机图形学和视觉领域的一个研究热点。在人类视觉系统中，人脸是最为复杂的对象之一，富含重要的心理与生理信息。三维人脸建模的发展可以为更为复杂的建模提供借鉴，同时对于类似的科学问题有着非常重要的促进意义。

除了科学研究意义外，三维人脸建模在虚拟现实、人脸识别、公共安全、电脑游戏、影视制作、表情动画、情感分析以及3D打印等领域具有巨大作用。它不仅可以用来制作虚拟现实环境中的各种虚拟人物及动画，还可以应用于可视电话、远程网络会议等多媒体的制作和传输；另外，它在人机交互等日益增长的信息通信技术领域也有着很好的发展前景。三维人脸模型还可以促进人脸识别和检索技术的进步，在安全领域有着重要作用。

由于计算机人脸建模有着上述非常广泛的应用价值，自从Parke在1972年开创这个领域以来，人脸建模和人脸动画成为了一个新的研究热点，越来越多的研究者努力尝试创造具有真实感的人脸模型和表情动画。但是由于人脸的生理结构非常复杂，而且人们对人脸的细节变化非常敏感，其中对头发进行模拟、对表情动作进行仿真、还有如何添加逼真纹理信息和进行光照处理等仍是一个难题。人类视觉系统非常精妙，天生具备识别人脸模型的能力，人眼可以准确快速地从一张照片中恢复出人脸三维形状信息，从而进行身份识别。如果计算机能够模拟人类的认知机制，从而实现基于单幅二维人脸照片的三维人脸建模，不但能够在一定程度上提高计算机对人脸数据信息的处理能力和理解能力，促进虚拟现实和人机交互技术的发展，而且能够进一步促进其他交叉学科的发展。

现有技术中，公开了以下几种三维建模技术：

(1)基于三维扫描仪等的三维人脸建模：主要指利用三维数字扫描仪对人脸进行扫描来获取人脸的三维信息，根据获取的三维数据在计算机中进行人脸模型的三维重建，该方法能够获得精确的人脸模型。

(2)基于多幅人脸照片的建模：指通过多幅多角度的人脸图像，如正面、左侧面、右侧面等图像来获取更多人脸的三维数据来进行人脸的三维建模。基于多幅人脸图像的建模能够更直观、完整地获得人脸的正面纹理信息、深度信息等，从而有利于建立起更加精确的三维人脸模型。

(3)基于单幅人脸照片的建模：基于单幅人脸图像的建模：一般是指通过采集单张人脸的图像进行数据的分析以及人脸的拟合与三维重建，其都是通过光流算法或网格重采样的算法进行形变模型的建立，再对其进行重建获得精确的人脸模型，具有真实感强，建模方便等特点。

现有技术的不足之处在于，(1)采用三维扫描仪等硬件设备通用性和灵活性较差，操作较为复杂，且其硬件设备的成本也较高，一般只适用于某些特殊的场合；(2)采用多幅人脸照片进行建模的方法在一定程度上增加了人工操作的步骤，降低了操作的灵活性；(3)基于单幅人脸照片进行建模需要的手动初始化繁琐，运算量特别大，人脸建模的速度慢，并且获得的人脸模型的真实感差。

发明内容

本发明的目的是提供一种基于单幅照片的三维人脸建模方法及系统，以解决灵活性差，操作复杂，以及需要繁琐的手动初始化、运算量大、建模的速度慢、获得的人脸模型的真实感差的问题。

为了实现上述目的，本发明提供如下技术方案：

一种基于单幅照片的三维人脸建模方法，包括以下步骤：

获取人脸图像以及单幅人脸照片；

将所述人脸图像二维展开，并通过薄板样条变换对展开得到的纹理图像进行稠密点对应，获得中间图像；

通过对所述中间图像的主成分分析得到形变模型；

将所述形变模型的特征点与所述人脸照片的特征点对齐，并在对齐后的形变模型上垂直投影所述人脸照片的纹理，生成人脸模型。

上述三维人脸建模方法，通过薄板样条变换对展开得到的纹理图像进行稠密点对应包括以下步骤：

从所述纹理图像中确定一图像作为参考图像；

根据cpselect函数对所述纹理图像进行特征点标记；