[发明专利]一种基于数据驱动的单幅图像头发重建方法

说明书

本发明公开了一种基于数据驱动的单幅图像头发重建方法，分为四个步骤：第一步是输入单幅图像，然后根据对图像中发型的观察绘制出一些笔画，这些笔画必须是从发根到发梢都遵循图像中发束方向绘制出的，这些绘制曲线主要体现了整个头发模型几何拓扑结构；第二步是通过衡量绘制笔画和数据库中发型的发丝间的差异，对每个绘制发丝获得对应最佳匹配发丝和匹配发型；第三步为防止匹配结果的不确定性，对匹配后的结果添加一个确认过程决定是否采用该目标发型；第四步通过生成方向场的方式将这些获取的目标发型融合并生成一个最终头发模型。本发明能重建出与原图像形似的完整发丝级别的3D头发模型。

技术领域

本发明属于计算机视觉与计算机图形领域，具体地说是一种基于数据驱动的单幅图像头发重建方法，主要用于游戏、影视动画以及虚拟现实等领域。

背景技术

在计算机图形学中，对虚拟人物的三维建模，一直是备受研究者关注的一个重要的课题。无论是虚拟现实，电影特效，视频游戏或是其他计算机图形学、视觉相关的领域，视觉真实的人物建模技术都有广泛的应用。而头发则是人物的一个重要特征，头发的形态因人而异，有时甚至是区别不同人的重要标志。同时，构成头发的发丝非常多，头发的造型、运动及其光学特性都十分复杂，真实感的头发建模成为了计算机图形学的一个研究热点和难点。对特定形态的头发模型的几何建模一直是一件繁琐的工作。目前，大部分头发模型仍然依靠艺术家利用交互工具手工进行三维头发造型与建模的工作。近年来，不断开始有研究者尝试用自动化的方法，从图像数据中重建出与真实头发相近似的模型。然而目前基于图像的三维头发重建方法集中在基于多视点采集图像的建模，需要搭建复杂的采集环境，无法应用到实验室以外的环境。仅有的一些基于单幅图像的头发建模方法结果并不理想，所能建模的发型也比较有限且无法保证头发生长的均匀性和发丝深度的可靠性。由于头发存在的自遮挡以及背部头发信息的缺失，大部分头发建模技术只能得到实际为2.5维的头发模型，并且其发丝较为细碎。本发明能够生成完全3维的发丝级别的头发模型，与原始图像中发型相似，并且能进行后续头发渲染及动态仿真等应用场景。

发明内容

本发明的技术解决问题：克服现有技术的一些局限性，提供一种基于数据驱动的单幅图像头发重建方法，该方法机能重建出外观和原始图像相似的头发模型，也能保证发丝生长和连续性的可靠性，具有较高的实用价值。

本发明解决上述技术问题所采用的技术是：构建模型数据库，基于该数据库进行单幅图像头发重建，包括以下步骤：

步骤1：输入图像，使用人脸特征点检测算法在图像中脸部区域自动标定出人脸特征点，并根据USC-HairSalon头发模型数据库中提供的适配所有头发模型的标准头部模型计算出三维到二维的变换矩阵T，然后基于用户的观察，在输入图像中绘制笔画，这些绘制笔画必须从发丝到发梢都遵循图像中的发束方向的关键笔画，也需要体现出整个发型的几何拓扑结构；所述图像为单幅图像；

步骤2：利用步骤1中计算得到的所述变换矩阵T，将头发模型数据库中的发型模型投影到输入图像上，然后与步骤一中输入的绘制发丝计算差异，对每一个用户绘制发丝都获得一个最佳匹配发丝和匹配发型；

步骤3：针对每一次的当前最佳匹配发丝和匹配发型进行确认，首先获取目标发型中目标发丝周围的发丝，使用带系数的豪斯多夫距离作为度量空间中两根发丝之间的距离，计算出目标发丝与其周围发丝之间的相似比率，决定是否采用所述目标发丝及发型，然后继续步骤2寻找最佳匹配发丝和匹配发型，最终得到目标发丝和发型；

步骤4：基于获取的目标发丝和发型，生成对应方向场，后续的融合过程视为一个多标签分配问题，通过最优化能量公式，得到最终融合的方向场；然后依据这个方向场从头皮追踪生长发丝，直至得到最终的3D头发模型，利用所述头发模型进行渲染以及动态仿真应用操作。

所述步骤1具体实现如下：