[发明专利]介导现实中的基于多重空间定位的前景抽取方法及系统

权利要求书

1.一种介导现实中的基于多重空间定位的前景抽取方法，其特征在于，包括如下步骤：

步骤S1，制作等比例模型，并使用反差大的单一颜色，注上标记点；

步骤S2，使用固定摄像头和测量工具标定物理空间中VR头盔相对VR定位摄像头位置，并设置虚拟空间中摄像机位置，即VR头盔位置；

步骤S3，采用3D深度摄像头连接到视频处理计算机进行采集，采集后的彩色视频和深度视频进行深度抽取的预处理，将上一步处理后的视频以多个特征点或标记点作为轮廓进行前景抽取，

采用着色器在视景处理计算机对虚拟场景进行实时截图，进行虚实注册坐标系变换，并对齐视频图像和虚拟场景截图的特征点或标记点，采用着色器计算虚拟场景中的模型特征点或标记点上的深度；

步骤S4，结合虚实空间的不同深度，计算对齐偏差，再进行校正，采用着色器将虚拟场景中的模型作为遮罩，抽取遮罩下的视频图像。

2.如权利要求1所述的介导现实中的基于多重空间定位的前景抽取方法，其特征在于，在所述步骤S4中，采用着色器将虚拟场景中的模型作为遮罩，包括：模型贴图预先采用与场景颜色反差大的颜色。

3.一种介导现实中的基于多重空间定位的前景抽取系统，其特征在于，包括：虚拟现实头戴式设备、追踪定位器、视景处理计算机、视频处理计算机、3D深度摄像头、模拟器操作仪表和显示屏，其中，虚拟现实头戴式设备与视景处理计算机连接，视景处理计算机和视频处理计算机连接，3D深度摄像头与视频处理计算机连接；模拟器操作仪表和显示屏与视景处理计算机连接，所述追踪定位器与所述视景处理计算机连接，

其中，所述3D深度摄像头用于采集视频图像，

所述追踪定位器根据所述3D深度摄像头拍摄的视频图像，标定物理空间中VR头盔相对VR定位摄像头位置，并设置虚拟空间中摄像机位置，即VR头盔位置；

所述视频处理计算机用于采用3D深度摄像头连接到视频处理计算机进行采集，采集后的彩色视频和深度视频进行深度抽取的预处理，将上一步处理后的视频以多个特征点或标记点作为轮廓进行前景抽取；

所述视景处理计算机用于采用着色器在视景处理计算机对虚拟场景进行实时截图，进行虚实注册坐标系变换，并对齐视频图像和虚拟场景截图的特征点或标记点，采用着色器计算虚拟场景中的模型特征点或标记点上的深度；结合虚实空间的不同深度，计算对齐偏差，再进行校正，采用着色器将虚拟场景中的模型作为遮罩，抽取遮罩下的视频图像，其和视景图像融合后通过虚拟现实头戴式设备向用户进行呈现；

所述模拟器操作仪表和显示屏用于提供仪表面板按钮以供用户输入操作指令，操作信号会在视景处理计算机进行处理，处理结果会在虚拟现实头戴式设备向所述用户进行呈现。

4.如权利要求3所述的介导现实中的基于多重空间定位的前景抽取系统，其特征在于，所述视景处理计算机采用着色器将虚拟场景中的模型作为遮罩，包括：模型贴图预先采用与场景颜色反差大的颜色。

5.如权利要求3所述的介导现实中的基于多重空间定位的前景抽取系统，其特征在于，所述3D深度摄像头安装于虚拟现实头戴式设备上。

6.如权利要求3或5所述的介导现实中的基于多重空间定位的前景抽取系统，其特征在于，所述3D深度摄像头采集的视频图像，包括：彩色视频、深度视频和红外视频。

7.如权利要求3所述的介导现实中的基于多重空间定位的前景抽取系统，其特征在于，所述追踪定位器安装于所述模拟器操作仪表上，用于监测用户的头位姿态位置数据，并发送至所述视景处理计算机。

8.如权利要求3所述的介导现实中的基于多重空间定位的前景抽取系统，其特征在于，所述虚拟现实头戴式设备通过USB3.0和HDMI接口与视景处理计算机连接，3D深度摄像头通过USB3.0与视频处理计算机连接，视景处理计算机和视频处理计算机之间通过LAN连接，3D深度摄像头与虚拟现实头戴式设备连接；模拟器操作仪表和显示屏通过USB3.0与视景处理计算机连接，所述追踪定位器通过USB3.0接口与所述视景处理计算机连接。