[发明专利]一种真实人物与混合现实动态叠加的定位方法及系统

说明书

本发明公开了一种真实人物与混合现实动态叠加的定位方法及系统，包括以下步骤：人体采集模块通过相机拍摄获取真实人物图像，并获取所述人物的三维数据信息和位置信息，建立所述真实人物图像的包含三维数据信息和位置信息的人体三维模型；虚拟生成模块生成虚拟内容；通过所述真实人物图像的位置信息实时变化调整对应位置虚拟内容的展示变化，得到最终的三维场景；将最终的三维场景进行展示，实现相机拍摄的多个真实人物图像在虚拟内容里符合视觉规律的实时动态活动和变化。通过获取真实人物的位置信息，对用户进行定位，根据定位信息将真实用户与虚拟三维场景内容实时动态的相结合展示，实现真实人物实时与虚拟三维场景内容互动。

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种真实人物与混合现实动态叠加的定位方法及系统。

背景技术

目前AR(增强现实)、VR(虚拟现实)和MR(混合现实)带动了相关领域的快速发展。部分商场银行等场所里面会有一些相关技术制作的游戏，吸引顾客和机器进行互动来玩游戏，这样让顾客有一种参与感，可以提高品牌形象。进而它的实质是将计算机制作的虚拟三维场景与摄像机现场拍摄的人物活动图像进行数字化的实时合成，使人物与虚拟背景能够同步变化，从而实现两者天衣无缝的融合，以获得完美的合成画面。

为达到这一效果，在三维虚拟演播室中要用到色键抠像技术，通过将前景人物置于特定颜色的背景板前，再将拍摄到画面中特定颜色的背景部分抠掉，用渲染的三维虚拟背景替换特定颜色的背景来构成输出的合成画面。

但目前现有的技术会有很多缺点：虚拟物体在人物的上方，默认状态下虚拟物体遮挡住了真实的人物，这并不符合现实世界的视觉规律以及前后位置关系。目前绝大部分的AR、MR技术都存在这个问题，包括Hololens，会极大地影响顾客对程序场景的代入感，真实感较差，无法给用户真实地感受和体验。

发明内容

基于此，有必要针对上述问题，本发明提出一种真实人物与混合现实动态叠加的定位方法及系统，包括以下步骤：

S1：人体采集模块通过相机拍摄获取真实人物图像，并获取所述人物的三维数据信息和位置信息，建立所述真实人物图像的包含三维数据信息和位置信息的人体三维模型；

S2：虚拟生成模块生成虚拟内容；

S3：图像合成模块根据人体三维模型的三维数据信息和位置信息与虚拟内容结合计算，合成所述真实人物图像与虚拟内容，得到初步的三维场景；

S41：利用人物遮挡模块将所述真实人物图像与虚拟内容的展示进行协调，使虚拟内容能够在所述真实人物图像后面显示，得到最终的三维场景；

和/或，

S42：利用人物遮挡模块将所述真实人物图像与虚拟内容的展示进行协调，通过所述真实人物图像的位置信息实时变化调整对应位置虚拟内容的展示变化，得到最终的三维场景；

S5：将最终的三维场景进行展示，实现相机拍摄的真实人物图像在虚拟内容里符合视觉规律的实时动态活动和变化。

优选地，步骤S41和/或步骤S42还包括以下步骤：

所述人物遮挡模块通过绘图管线定义缓冲区模块；

所述缓冲区模块包括像素信息的缓冲区和深度缓冲区，通过所述像素信息用于标识来自相机源的对象的形状，利于后续使用所述像素信息来遮挡虚拟内容，根据所述深度缓冲区提供真实人物图像的深度位置信息。

使用遮片提取的初步的三维场景可以从场景中正确地提取人物，结合深度缓冲区的深度位置信息进行计算，使人物遮挡模块可以正确的定位初步的三维场景中的深度基准面；

重新绘制初步的三维场景，使虚拟内容能够在所述真实人物图像后面显示，得到最终的三维场景。