[发明专利]利用球面展开侧写进行手部三维网格模型骨架提取方法

说明书

本发明公开一种利用球面展开侧写进行手部三维网格模型骨架提取方法，该方法首先将手部三维网格模型转换为球面展开侧写，所述球面展开侧写是利用笛卡尔坐标系到球坐标系变换，将三维网格对应的曲面投影到三个互补的、由球坐标作为索引的侧写图像上，依次命名为射线侧写、经线侧写和纬线侧写；然后将得到的球面展开侧写结果送入一个热图回归网络输出手部关节热度图；再根据热图回归网络的输出结果计算手部节点球空间坐标；最后利用球坐标到笛卡尔坐标系的逆变换，将关节点球坐标转换为笛卡尔坐标。本发明的方法能够从任意网格拓扑、手部姿态和水密程度的手部网格模型中提取手部骨架。

技术领域

本发明涉及计算机视觉、计算机图形学领域，具体地，涉及一种利用球面展开侧写进行手部三维网格模型骨架提取方法。

背景技术

基于深度学习的三维视觉技术使得从图像中获取用户个性化手部扫描模型重建更加便捷。驱动这些扫描模型是一系列AR/MR/VR技术应用，如远程交互、远程控制的重要一步。为了完成手部姿态估计、手部运动重定向和手部模型的驱动，从多样的模型中提取一致的骨架十分重要。然而，现有的网格模型骨架提取方法更多以类人卡通角色和人体扫描的网格模型为研究对象，在一个标准的姿态下(T-pose)估计人体(一般不含手指)的骨架，并且对于网格模型的水密性有严苛的要求。相比之下，手部的骨架提取面临着更多的挑战：

1)手部模型在工业界并没有一个统一的标准姿态。这意味着手部骨架提取方法需要具备从姿态多样的手部网格模型中提取一致的手部骨架的能力；

2)手性是手部模型独有的。手部网格模型手部骨架提取方法需要需要具备鲁棒于左右手的镜像对称变换。

3)很多手部模型不具备水密性。由于手部只是人体的一部分，很多现有的手部扫描数据和卡通模型并没有在拓扑上要求封闭。

发明内容

为解决上述问题，本发明公开了一种利用球面展开侧写进行手部三维网格模型骨架提取方法，能够从任意网格拓扑、手部姿态和水密程度的手部网格模型中提取手部骨架。

上述的目的通过以下技术方案实现：

利用球面展开侧写进行手部三维网格模型骨架提取方法，该方法包括如下步骤：

步骤1.将手部三维网格模型转换为球面展开侧写，输入图像对应张量的尺寸为(3,H_a,W_a)，其中H_a为输入图像的高度，W_a为输入图像的宽度，所述球面展开侧写是利用笛卡尔坐标系到球坐标系变换，将三维网格对应的曲面投影到三个互补的、由球坐标作为索引的侧写图像上，依次命名为射线侧写、经线侧写和纬线侧写；

步骤2.将步骤1得到的球面展开侧写结果送入一个热图回归网络输出手部关节热度图尺寸为(3*J,H_b,W_b),其中J为手部关节数目，H_b为输出手部关节热度图的高度，W_b为输出手部关节热度图的宽度；

步骤3.根据热图回归网络的输出结果计算手部节点球空间坐标；

步骤4.利用球坐标到笛卡尔坐标系的逆变换，将关节点球坐标转换为笛卡尔坐标。

进一步地，步骤1中所述将手部三维网格模型转换为球面展开侧写的具体方法是：

步骤1.1.将给定手部网格模型归一化：具体地，将网格模型顶点的均值位置作为笛卡尔空间的原点，并利用最远顶点到均值点的距离作为缩放因子施加到模型的每个顶点上，经过这一步，整个模型被限定在单位球所包含的笛卡尔空间中；网格模型表面上的任意一点(x,y,z)可以通过下面的公式转化为球空间坐标表示