[发明专利]一种用于人脸三维模型纹理融合的方法和设备

说明书

本发明公开了一种用于人脸三维模型纹理融合的方法和设备，能够使得纹理融合后的结果更加自然过渡，避免纹理贴图时鼻翼两侧易出现的过渡不均匀不自然的现象。该方法包括：输入人脸三维模型数据；输入多幅不同视角下的人脸纹理图像；对所述人脸纹理图像进行颜色校正；计算每个三角面片在各个纹理相机中的可见性；计算每个三角面片相对于各个纹理相机的纹理权值；修正人脸三维模型上预定区域内的三角面片相对于正脸纹理相机的纹理权值；将相对于各个纹理相机的纹理权值进行平滑和归一化处理；根据每个三角面片相对于各个纹理相机的纹理权值进行纹理融合，并获取人脸三维纹理。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种用于人脸三维模型纹理融合的方法和设备。

背景技术

三维建模在工业设计、艺术设计、建筑设计、立体测量等方面都具有重要的研究意义与应用价值。其中，人脸的三维建模在生物特征领域包括三维人脸建库、三维人脸识别等有着广泛应用。一般而言，物体的三维建模包括两部分：表面三维模型建模与纹理映射。前者在计算机视觉领域获得了广泛关注，而后者，即纹理映射却是一个重要但相对被研究者忽视的方向。纹理映射，是指如何计算较优的纹理图像并贴图至三维模型表面。多视角下的纹理融合与映射对三维建模及其渲染至关重要，其结果好坏直接影响三维模型的真实感。

纹理融合问题的本质实际上是考虑如何拼合纹理碎片，因为在三维模型以及纹理相机参数已知时，模型三维表面与纹理相机纹理图像上的坐标存在一一对应；换言之，纹理图像上的纹理碎片可反向映射至三维模型上。在多纹理相机下，来自多个纹理相机的纹理碎片被映射到相同的三维表面，进而产生信息重叠，而这些纹理碎片很可能具有不同的光照、阴影、反射等特性，因此需对纹理碎片进行融合。

下面对国内外旨在纹理融合与贴图的方法以及专利做相关介绍。Lempitsky等人于2007年提出“Seamless Mosaicing of Image-Based Texture Maps”(基于图像的纹理贴图的无缝拼接)，采用“最优镶嵌”的方法进行纹理融合。其利用图像分割将物体表面分为不同的区域，再通过马尔科夫随机场(Markov Random Field，MRF)消除由“最优镶嵌”带来的纹理接缝，实现模型表面色彩的平滑。但具有复杂拓扑的几何形体一般很难得到理想平滑的融合参数，使得纹理模型表面仍有少量细缝。Gal等人于2010年提出“Seamless Montagefor Texturing Models”(用于纹理模型的无缝蒙太奇)，采用MRF来允许考虑纹理三角形映射不准确的情况。虽然其允许纹理碎片映射出现偏差，但该方法对MRF的优化十分耗时，且在纹理相机纹理映射较准确的情况下不够实用。此外，上述两种现有方法都非专门针对环境光照不均情形下的人脸纹理融合。

申请号为201511025408.5的中国专利申请公开了“一种三维全脸照纹理相机中高保真全脸纹理融合方法”，虽然其在理想情况下可能实现保真纹理融合，但该方法所计算的纹理权值不适用于现实自然环境中存在表面遮挡等情形，并且其计算所有区域的纹理融合时始终采用线性加权，在纹理相机光照不均时(例如闪光灯下人脸较亮而背景较暗时)，在人脸侧面容易引入人造阴影，导致融合结果出现过渡不均匀、不自然的问题。

发明内容

本发明的目的之一至少在于，针对如何克服上述现有技术存在的问题，提供一种用于人脸三维模型纹理融合的方法和设备，能够使得纹理融合后的结果更加自然过渡，避免纹理贴图时鼻翼两侧易出现的过渡不均匀不自然的现象。

为了实现上述目的，本发明采用的技术方案包括以下各方面。

一种用于人脸三维模型纹理融合的方法，其包括：