[发明专利]一种面向本地群体的非接触式自然人机交互技术及系统

说明书

技术领域

本发明涉及虚拟现实领域，特别是涉及到多投影机的图像拼接与融合、人机交互以及人工智能方面。

背景技术

随着经济生活水平的提高，人们对像迪士尼乐园、环球影城这样的娱乐场所的消费需求越来越高，虚拟现实早已不限于游戏领域，在国外已经成为人们日常生活的必需品。

当前在许多大型场馆中多人虚拟现实系统前景广阔。以大型游乐园为例，过山车、激流冲浪等设备是它们的传统核心设备。现在国际上的顶级主题公园如环球影城、迪斯尼乐园已经普遍装备基于异形大屏幕、运动平台和被动立体数字视频的虚拟现实游乐系统。而国内现在主要还处在传统机械式游乐设备和标准的4D影院阶段，少量的高端虚拟现实游乐设备主要依赖国外进口。

要进一步提高娱乐系统的体验感，其核心在于提升用户的沉浸感和带入感。现有的顶级大型数字游乐系统虽然有了很多精巧的创意，但是都还是被动式的，在整个游戏的进程中用户没有办法交互，视频也是事先录制的，而事实上交互可以带来强烈的参与感，用户体验将大不一样。

全自动的反馈系统，主动根据人的需求来调节画面的转变，极大提升的人的沉浸感。足不出户，自助旅游的以前很难处在想象阶段的活动即将成为现实。视频控制系统控制投影机播放不同方位的想象，形成超大的环幕效果，视野范围大提升了真实感。同时用户可以在环幕里面活动，感应系统可以接收人的行为，从而反馈到控制系统，通知系统来调整图像的播放顺序。

大规模高沉浸感虚拟空间系统的环境较为封闭，使用投影仪数量规模庞大，投影屏幕尺寸巨大、形状复杂。传统色彩一致性校正技术主要针对一般多投影融合显示系统，无法适应大规模虚拟空间构建的要求。

课题申请者已经建立了一种针对带有异形、多重投影重叠区域的多投影融合显示系统的快速、实用的亮度一致性校正和边缘融合方法。该方法借助GPU硬件并行计算来快速求解一个建立在精确几何标定结果上的关于投影屏幕上亮度分布一致性的非线性最优化问题：

其中， 为第个投影仪对应的几何标定网格， 为第个投影仪亮度分布函数，

为亮度一致性目标函数。

 

在建立精确描述投影仪-屏幕系统色彩分布数学模型的基础上，借助投影仪色彩差异理论和高动态范围成像技术的帮助，拟构建基于普通摄像头的大规模投影区域色彩测量技术。该技术可快速、自主完成所有投影像素色彩信息的测量，从而形成数字相机色彩空间下关于投影仪亮度一致性非线性最优化方程（1）和色度值一致性线性方程组（2）。

               （2）

其中为每个投影仪像素在数字相机色彩空间下的色度坐标， 是待求解的每个投影仪的色度校正矩阵。

在GPU并行计算的协助下，可以完成联立非线性优化方程（1）和（2）的迭代快速求解，从而得到可实时校正投影画面的融合模版和色度校正矩阵阵列，形成适合任意规模投影机群和任意尺度、形状投影屏幕的投影画面色彩测量、差异补偿和异形重叠区域边缘融合技术。

发明内容

本发明要解决的技术问题是提供大规规模的虚拟感官系统（包括软件系统和硬件装置），给用户超乎想象的真实感和沉浸感，让用户足不出户就可以体验超真实的视觉景观效果，同时也可以方便地与用户进行交互，让室内自助旅游成为可行。

针对多人本地协同的虚拟现实情境，研究以虚拟化为接口的非接触式自然人机交互技术。重点研究并解决多人实时运动跟踪问题，精确获取群组中各个体的位置和特殊部位运动数据，构建非接触式、自然、高效的人机交互通道。

在多人本地协同情况下，一方面需要支持数十人规模的群体交互，并兼顾到交互的实时性、用户体验的自然性；另一方面考虑到大型游乐设备的场地规模较大，我们拟采用标注点的方法通过光学捕获技术来获取自然人的运动，并驱动虚拟情境中相应的虚拟化身，从而构建非接触式人机交互通道。研究框架如下图4所示。

其中核心研究内容包括：多人标注点数据的在线标注技术、多人标注点数据的丢失点在线恢复技术两个部分。除这两部分外，光学跟踪采用成熟设备，角度计算采用现有基于四元数的关节角度计算方法。

实现面向群体的非接触式自然人机交互技术。具体技术步骤包括：光学跟踪、多人标注点数据的在线标注、多人标注点数据的丢失点在线恢复技术和角度计算四个步骤（如图5所示）。其中，光学跟踪采用成熟设备，角度计算采用现有基于四元数的关节角度计算方法。