[发明专利]一种用于数字人和实体的虚实融合方法及系统

权利要求书

1.一种用于数字人和实体的虚实融合方法，其特征在于，包括如下步骤：

步骤一、对实体机械结构进行骨骼建模，确定实体机械结构各个关节的属性；所述属性包括长度、大小和朝向；所述实体机械结构包含至少一个关节，其中关节包含至少一个轴和至少一个连杆，连杆与轴相连实现转动；得知实体机械结构的各关节的空间关系后，可将每个关节部位进行建模，形成实体机械结构的三维骨骼模型；

步骤二、将虚拟数字人形象进行骨骼重定向，骨骼重定向过程具体为：调整已有的虚拟数字人形象的骨骼的大小、方向，使重定向后的虚拟数字人形象和实体机械结构的三维骨骼模型相匹配；

步骤三、将所述实体机械结构与虚拟数字人形象叠加，控制虚拟数字人形象和实体机械结构的各个关节对应位置，同时、同步地发生变化，实时判断虚拟数字人形象与实体机械结构的三维骨骼模型是否相匹配，若不匹配则实时调整。

2.如权利要求1所述的方法，其特征在于，所述对实体机械结构进行骨骼建模，具体采用如下建模方法之一进行：

建模方法一：通过预先人工测量实体机械结构各个关节中的连杆的长度、粗细、朝向以及轴的旋转角度限制，从而确定各个关节的空间关系，实现建模；

建模方法二：采用标定好的摄像头拍摄实体机械结构，再计算出机械结构中连杆的长度、粗细和朝向，确定关节间的空间关系，实现建模。

3.如权利要求1所述的方法，其特征在于，所述步骤二具体包括如下步骤：

首先，调整虚拟数字人形象的骨骼结构，使虚拟数字人形象的骨骼结构与实体机械结构的三维骨骼结构相同；

然后，使用人工或者虚幻引擎中的算法，调整虚拟数字人形象每个关节间的间距，使骨骼长度和朝向相同；

最后，重新调整虚拟数字人形象的骨骼粗细，匹配实体机械结构的三维骨骼模型的体积。

4.如权利要求1、2或3所述的方法，其特征在于，所述判断虚拟数字人形象与实体机械结构的三维骨骼模型是否相匹配，若不匹配则实时调整；具体为：

当虚拟数字人形象的制作精度不少于1毫米时，虚拟数字人形象和实体机械结构叠加时，关节中的轴的在空间坐标系中的三个方向的偏移量均小于5毫米，且色差值不大于4.0时，则虚拟数字人形象与实体机械结构的三维骨骼模型相匹配。

5.如权利要求4所述的方法，其特征在于，所述将所述实体机械结构与虚拟数字人形象叠加，控制虚拟数字人形象和实体机械结构的各个关节对应位置，同时、同步地发生变化，具体为：

虚拟数字人形象和实体机械结构中关节的移动同时进行，移动到的空间位置偏差小于1厘米，延迟时间小于0.5秒。

6.一种用于数字人和实体的虚实融合系统，其特征在于，包括实体机械结构、定位设备、计算端、显示设备以及位于虚拟环境中的虚拟数字人形象；

所述实体机械结构包含至少一个关节，其中关节包含至少一个轴和至少一个连杆，连杆与轴相连实现转动；

所述定位设备安装于实体机械结构上，定位设备获取实体机械结构的实时空间坐标及朝向，将其六自由度位姿传递给计算端；

所述计算端获取六自由度位姿，并提供多个虚拟数字人形象，并接收用户的选择指令，根据选择指令确定要展示的虚拟数字人形象，将虚拟数字人形象渲染展示在虚拟环境中，所述虚拟数字人形象的位置与所述实体机械结构位置相同，且所述实体机械结构与虚拟数字人形象叠加，所述计算端控制虚拟数字人形象和实体机械结构的各个关节对应位置，同时、同步地发生变化，实时判断虚拟数字人形象与实体机械结构的三维骨骼模型是否相匹配，若不匹配则实时调整；

所述显示设备为头戴式显示设备，虚拟环境通过所述头戴式显示器呈现给用户；所述头戴式显示设备可以采用视频透射式或光学透射式的显示设备。