[发明专利]一种真实人物与混合现实动态叠加的定位方法及系统

权利要求书

1.一种真实人物与混合现实动态叠加的定位方法，其特征在于，包括以下步骤：

S1：人体采集模块通过相机拍摄获取真实人物图像，并获取所述人物的三维数据信息和位置信息，建立所述真实人物图像的包含三维数据信息和位置信息的人体三维模型；

S2：虚拟生成模块生成虚拟内容；

S3：图像合成模块根据人体三维模型的三维数据信息和位置信息与虚拟内容结合计算，合成所述真实人物图像与虚拟内容，得到初步的三维场景；

S41：利用人物遮挡模块将所述真实人物图像与虚拟内容的展示进行协调，使虚拟内容能够在所述真实人物图像后面显示，得到最终的三维场景；

和/或，

S42：利用人物遮挡模块将所述真实人物图像与虚拟内容的展示进行协调，通过所述真实人物图像的位置信息实时变化调整对应位置虚拟内容的展示变化，得到最终的三维场景；

S5：将最终的三维场景进行展示，实现相机拍摄的真实人物图像在虚拟内容里符合视觉规律的实时动态活动和变化。

2.如权利要求1所述的真实人物与混合现实动态叠加的定位方法，其特征在于，所述步骤S41和/或步骤S42还包括以下步骤：

所述人物遮挡模块通过绘图管线定义缓冲区模块；

所述缓冲区模块包括像素信息的缓冲区和深度缓冲区，通过所述像素信息用于标识来自相机源的对象的形状，利于后续使用所述像素信息来遮挡虚拟内容，根据所述深度缓冲区提供真实人物图像的深度位置信息。

使用遮片提取的初步的三维场景可以从场景中正确地提取人物，结合深度缓冲区的深度位置信息进行计算，使人物遮挡模块可以正确的定位初步的三维场景中的深度基准面；

重新绘制初步的三维场景，使虚拟内容能够在所述真实人物图像后面显示，得到最终的三维场景。

3.如权利要求2所述的真实人物与混合现实动态叠加的定位方法，其特征在于，还包括以下步骤：

使所述像素信息的缓冲区和所述深度缓冲区和所述相机的像素、运行频率保持一致。

4.如权利要求1所述的真实人物与混合现实动态叠加的定位方法，其特征在于，所述步骤S2还包括以下步骤：

通过环境生成单元将3D场景素材库的素材进行编辑；

通过定位坐标系单元为编辑后的素材添加定位坐标系，并提取展示区域的定位坐标。

5.如权利要求1所述的真实人物与混合现实动态叠加的定位方法，其特征在于，所述步骤S3的图像合成模块，还包括以下步骤：

S31：通过图片叠加单元根据三维数据信息为人体三维模型设置展示骨骼点；

S32：将虚拟内容叠加在真实人物图像的上层；

S33：根据展示骨骼点的空间坐标与定位坐标进行匹配和绑定，二者重合后得到初步的三维场景。

6.一种真实人物与混合现实动态叠加的系统，其特征在于，包括：人体采集模块、虚拟生成模块、图像合成模块、人物遮挡模块，

所述人体采集模块通过相机拍摄获取真实人物图像，并获取所述人物的三维数据信息和位置信息，建立所述真实人物图像的包含三维数据信息和位置信息的人体三维模型；

所述虚拟生成模块生成虚拟内容；

所述图像合成模块根据人体三维模型的三维数据信息和位置信息与虚拟内容结合计算，合成所述真实人物图像与虚拟内容，得到初步的三维场景；

所述人物遮挡模块将所述真实人物图像与虚拟内容的展示进行协调，使虚拟内容能够在所述真实人物图像后面显示，得到最终的三维场景；

和/或，

所述人物遮挡模块将所述真实人物图像与虚拟内容的展示进行协调，通过所述真实人物图像的位置信息实时变化调整对应位置虚拟内容的展示变化，得到最终的三维场景。

7.如权利要求6所述的真实人物与混合现实动态叠加的系统，其特征在于，所述虚拟生成模块包括3D场景素材库、环境生成单元、定位坐标系单元，通过所述环境生成单元将所述3D场景素材库的素材进行编辑；

所述定位坐标系单元用于为编辑后的素材添加定位坐标系，并提取展示区域的定位坐标。