[发明专利]光照分离的单视角人体服装几何细节重建方法及装置

权利要求书

1.一种光照分离的单视角人体服装几何细节重建方法，其特征在于，包括：

通过单RGB采集人体运动数据，得到单RGB图像，并从所述单RGB图像中提取人物姿态，求解每一帧中人物的形状、姿态和相对空间位置；

通过预设的衣服模板生成二维衣服网格模型，并通过粒子模拟的方法使得衣服的不同部分缝合及穿到处于初始姿态的人物身上；

将人物姿态过渡变换到视频中第1帧的姿态下，并对三维的衣物进行联合物理模拟，且对于后续所有帧均基于人体姿态进行逐帧的衣服物理仿真；

通过人体分割的方法求解衣服参数，使得模拟后衣服形状与图像中的分割图达到吻合条件；

对于视频中的每一帧，使用图像光照分离的方法提取出图像的本征光照图像和本征反照率图像，所述本征光照图像用于光照估计和衣服几何细节重建；

通过物理模拟出的初始衣服形状，并求解得到所述衣服网格模型的逐顶点法向并通过球谐光照的假设得到光照信息，假设通过渲染判断得到的可视顶点集合为V，待求解光照系数为l_j，j＝1,2,…,9，则建立能量方程如下：其中，为可视顶点的三维坐标，为相机投影矩阵作用下投影的图片坐标，l_j为待求解光照系数，而H_j为球谐光照的前9个基函数，S_i为所述本征光照图像；

通过球谐光照的假设在预设球谐光照系数的前提下，求解衣服的逐顶点形变，得到衣服的几何细节；

将每帧求解后的所述衣服逐顶点形变投影到逐顶点上的局部坐标系下，并做每一帧投影系数的时域平滑，得到最终动态衣服细节重建结果；

将重建后的最终动态衣服细节重建结果用所述球谐光照进行渲染，完成重建和渲染仿真。

2.根据权利要求1所述的方法，其特征在于，所述本征光照图像、所述本征反照率图像和原始图像满足：

S(u,v)A(u,v)＝I(u,v)，

其中，(u,v)为各个图像中的像素坐标,S为所述本征光照图像、A为所述本征反照率图像和I为所述原始图像。

3.根据权利要求2所述的方法，其特征在于，通过球谐光照的假设为：

其中，(u,v)为衣服顶点投影得到的像素坐标，为衣服顶点对应的法向，l_i为待求解球谐光照系数，H_i为球谐光照的基。

4.根据权利要求1所述的方法，其特征在于，形变后的衣服法向在光照条件下，渲染结果与所述本征光照图像达到预设匹配条件。