[发明专利]一种基于HoloLens的多人协同交互方法

说明书

技术领域

本发明涉及一种人机交互技术，具体涉及一种基于HoloLens的多人协同交互方法。

背景技术

人机交互是人与机器之间使用特定的语言，通过一系列交互操作，实现人与计算机之间信息交流的过程。人机交互技术是21世纪信息领域的重大课题之一，并随着传感器技术、智能计算技术、嵌入式系统、云计算、大数据等新兴技术发展出现新的发展趋势：一是人机交互已不再仅仅局限于人与计算机之间的交互，而是扩展到整个物理空间、信息空间和社会空间，形成人－机－物相互沟通与融合；二是人机交互终端从普通的桌面计算机、移动笔记本、平板终端、移动智能手机，逐步向可穿戴智能设备或者隐藏于场景中的无形交互设备方向发展，不断摆脱传统“计算机”形态，趋于泛在化；三是交互方式更加多样，借助新型交互感知与计算设备，以人为本，通过手、嘴、体态、情感、脑电与肌电等方式，提供更加自然的交互体验；四是随着感知信息的种类越发丰富，借助大数据、云计算技术为用户提供加智能的人机交互服务。

随着环境设备的不断增强，用于满足交互的基础设施逐渐完善，出现大、中、小、无多类型智能终端，一方面，体现在环境中多尺度显示屏的普及，以智能手机为代表的小型交互屏幕解决了交互屏的便携性的问题，提供无处不在的交互界面；以电子沙盘、数据墙、智能电视为代表的大型屏幕则具有较好的视觉效果和沉浸感，为基于肢体动作的交互提供可能。而大型投影屏提供大范围多用户信息共享和协作的可能，并可借助智能手机等终端设备进行远程交互。另一方面，可穿戴设备的普及带来了交互体验的提升，将交互设备隐藏于无形，通过隐藏在眼镜、手表、鞋子，甚至植入于体内的芯片，提供无缝的感知和自然交互体验，用户无需借助专用设备即可通过自然的方式使得设备理解其行为意图。

目前我军已初步形成了陆、海、空、火箭军和联合作战指控系统的基本体系，传统的沙盘会商研讨和图上作业都耗时费力，效率低下，并且基于鼠标、键盘、触摸屏的交互方式，改变了指挥员原有的指挥和操作方式，需要指挥员按照系统限定的方式进行指挥，限制了指挥员的指挥效率。基于Hololens能够提供给指挥员更自然流畅的交互方式，但是，目前未见在多人协同交互方面的研究，因此，针对指挥作战协同作业过程中，指挥人员需要对态势环境、协作者、协作任务以及共享对象的各种信息进行准确感知和理解并利用更智能、更自然的协同作业操控方式与之交互的需求。

发明内容

发明目的：本发明的目的在于解决现有技术中存在的不足，提供一种基于HoloLens的多人协同交互方法，本发明能够根据用户身份角色、操作习惯、交互动作趋势等进行自然人机交互的多人协同交互方法，提升系统自然、流畅的交互能力的同时增强态势感知的逼真度和沉浸感，智能高效地为指挥人员和参谋人员提供形象、直观的战场态势和可视化的信息交互界面，用于支撑不同级别作战人员、不同作战形式的未来先进指挥所协同指挥作业系统的构建。

技术方案：本发明的一种基于HoloLens的多人协同交互方法，交互的主体是全息电子沙盘，包括指挥所本地多人协同交互和前后方多人异地协同交互两种模式。

所述指挥所本地多人协同交互模式下：指挥所内部署有Hololens集成设备，Hololens集成设备中的传感器(手势识别传感器和语音识别传感器等)将采集到的指挥员交互信息(包括视线/头部、手势、语音等)传输至人机交互服务器，人机交互服务器接收信息后生成相应交互指令并集成到全息投影设备，装载于全息投影设备上的全息电子沙盘程序对交互指令进行响应；指挥员查询作战阵地及作战目标的详细信息，后台的信息服务中心将结果反馈，并在指挥员佩戴的全息投影设备上全息显示；数据资源库提供战场环境数据、基础数据、实体数据、三维模型、操作数据和态势数据，最终实现多个指挥员之间通过态势同步服务器实现协同作业。

在这种模式下，指挥所内部署有计算、传感、显示、控制和网络设备环境，此处采用Hololens集成设备(集成了传感、全息显示、交互信息采集设备功能)。传感设备包括独立部署或者附着在移动计算设备上的光学传感器和语音采集等。全息投影设备将三维沙盘的图形图像计算结果投射形成全息影像。

所述前后方多人异地协同交互模式下：战前，战斗员通过穿戴式传感器进行战场感知和人员定位，后方指挥员综合全局战场态势形成战斗部署，战斗员以三维全息形式查看军事要素，了解作战意图；战斗过程中，战斗员通过音视频传感器将实际战场环境共享给指挥员，指挥员以此了解战斗过程感知战场态势变化，调整战术部署。