[发明专利]基于单个摄像机的沉浸式户外活动交互平台的实现方法

说明书

技术领域

本发明属于计算机图像处理技术领域，涉及混合现实技术，为一种特别面向户外大屏幕的基于混合现实的人机交互方法。

背景技术

当前主流的混合现实应用大都是为低于30英寸以下屏幕开发，由于户外活动的要求，一般都采用至少大于100英寸的LED高清大屏幕作为展示屏幕。另一方面，当前主要的用户动作肢体交互方式为仅依靠图形学方式计算和图形学方式结合红外及深度探测方式进行计算，这种方式较著名的设备为微软的Kinect，该方式要求用户在一定的范围内运动，才能够较为准确的计算测定，由于该设备是为低于60英寸的电视屏幕准备，因此该设备工作的最佳距离设定在距离屏幕的2至3米。对于户外至少100英寸以上的大屏幕，该距离显然不能满足要求，本发明采用仅依靠图像学的人体骨骼重建方法进行计算，配合使用高清摄像机，能够户外大屏幕的要求，将用户的活动空间设定在最佳观看距离。

发明内容

本发明针对现有技术中的问题，结合计算机图形学技术和混合现实技术，提供一种应用在户外大屏幕的人机交互方法，通过高清摄像采集技术及人体骨骼重建技术，实时计算用户的骨骼，并以计算结果实现人机互动功能。最终，用户可以在大屏幕中看到真实与虚拟相结合的互动效果。

本发明的技术方案为：基于单个摄像机的沉浸式户外活动交互平台的实现方法，基于混合现实技术，将真实世界中单个摄像机采集的用户姿态图像输入混合现实服务器，在混合现实服务器中与事先设定的增强内容叠加，并通过户外大屏幕显示给用户，所述增强内容包括二维画面和三维虚拟模型，用户利用不同的姿态同事先设定的增强内容进行互动，所述交互平台的实现方法具体包括以下步骤：

首先执行配准训练，包含二个步骤：

1）准备阶段，对户外的真实世界与混合现实服务器的虚拟世界进行配准：

11）在地面上划一条垂直于户外大屏幕的垂直线，垂足位于户外大屏幕底边中点；

12）在所述垂直线上确定用户交互定位点，用户交互定位点与户外大屏幕距离为基准长度L1，基准长度L1大于户外大屏幕的高度；

13）将真实摄像机放置于用户交互定位点上方高于1.5米的位置，真实摄像机镜头方向保持水平且面向户外大屏幕，即摄像机拍摄内容为整个大屏幕；在虚拟世界中设置对应于现实世界的交互场景，包括与现实中户外大屏幕相同尺寸及相同位置的虚拟户外大屏幕、虚拟用户交互定位点以及虚拟摄像机，虚拟摄像机与虚拟户外大屏幕的距离为基准长度L1’，L1’等于L1，虚拟摄像机拍摄的内容为整个虚拟大屏幕；将虚拟摄像机同真实摄像机所拍摄的画面相叠加，以真实世界的户外大屏幕作为参照物，对真实世界的户外大屏幕的尺寸及虚拟户外大屏幕的尺寸进行至少一次的配准；

14）在真实世界中，将真实摄像机由用户交互定位点移动至位于户外大屏幕侧边或顶部的工作位置，并在用户交互定位点上，以垂直于地面，也即平行于户外大屏幕树立一个基准尺L2，L2的高度大于等于1米；

15）移动虚拟摄像机至虚拟世界中对应于步骤14）真实摄像机的工作位置，并在虚拟世界中的用户交互定位点上，以垂直于地面，树立一个同真实世界相对应的虚拟基准尺L2’，L2’的高度大于等于1米且等于L2，以真实基准尺L2为参照物，对真实基准尺L2和虚拟基准尺L2’进行配准；

16）保存此时虚拟世界场景的位置和角度信息；

2）补充配准阶段：

21）在真实世界中，将真实摄像机放置于户外大屏幕侧边或顶部的工作位置，根据真实摄像机的图像采集范围选定用户的互动位置，在选定的互动位置处贴上触发图标，同时将触发图标的范围内作为用户的活动范围，即超过此活动范围的动作将得不到识别；

22）在虚拟世界中，对应于真实世界的相同位置处设定虚拟触发图标，以真实触发图标为参照物进行配准，将本次配准调后得到对场景位置和角度的调整信息同准备阶段1）配准后获得的虚拟世界场景的位置和角度信息合并，得到最优的场景位置和角度信息；

完成配准训练后，进入实时跟踪阶段；

3）实时跟踪阶段：

31）用户站在触发图标上后，由真实摄像机获得触发图标被遮挡信息，由系统自动或人工触发虚拟世界中的相关信息，并叠加至真实世界采集的图像，获得混合现实的效果；

32）根据图像采集装置采集到的图像，对用户的三维运动骨骼进行重建，在获得用户的肢体位置信息后，事先设定的增强信息按照设置好的要求同用户的肢体位置信息进行交互。