[发明专利]一种人机共融的远程态势智能感知系统

说明书

本发明涉及一种人机共融的远程态势智能感知系统，其包括：场景感知设备，用于构建初步的三维场景模型；定位单元，用于实时获取场景感知设备所处的位置，对当前场景的虚拟场景部分进行定位；场景重建单元，用于基于场景感知设备获取的初步的三维场景模型和当前场景的虚拟场景部分的定位信息，重建当前场景的虚拟场景部分的三维重建模型；人体识别单元，用于识别当前场景的虚拟场景部分的人体姿态；增强现实设备，用于构建现实场景部分的三维重建模型；虚实融合单元，用于将虚拟场景部分的三维重建模型与现实场景部分的三维重建模型进行融合，获得虚实融合后的当前场景的三维重建模型；可视交互单元，用于展示虚实融合后的当前场景的三维重建模型。

技术领域

本发明属于人工智能和态势感知技术领域，具体涉及一种人机共融的远程态势智能感知系统。

背景技术

增强现实是指将计算机系统提供的信息或图像与现实世界信息进行叠加呈现给用户，从而提升用户对现实世界的感知能力；其重点是该信息或图像是叠加到现实世界上的，是一种“实中有虚”的表现效果，对用户来说，相当于“增强”了其对现实世界的理解和感知。

随着人工智能技术的发展，各行各业“无人化”设备数量急剧增多，性能也得到了极大提升，可以预见，未来大量的工作将由智能化设备完成，工作场景将形成“人”与智能“机器人”混编的局面。无人设备在很多场景下，例如火灾及地震现场、高海拔地区等有着常人无法企及的优势，同时在未来战场中，无人设备在侦察、分析、打击等方面的有着独特的优势。无人平台通过传感器获取特殊场景下的图像、声音等信息极大的延伸了人的“眼”与“耳”，使人对周边复杂未知环境的感知范围与深度得到极大扩展。

但是，无人设备所采集的信息纷繁复杂，如城市场景中，街面上建筑物错落交织，街面下水管、隧道星罗棋布，大量错综复杂的信息让人“充满着迷雾”。这些复杂的场景特征既扩展了人的感知，同时也影响了人对有效信息的提取，如何在复杂环境下清晰感知整体态势显得十分重要。

发明内容

本发明的目的在于，为解决现有技术存在上述缺陷，本发明提出了一种人机共融的远程态势智能感知系统，通过增强现实设备实现人机协同的态势感知，运用无人机等设备充当“眼”和“耳”获取大范围场景态势信息，经过对多源、多类型的数据融合后汇聚到服务端，并进行三维重构、目标识别、感兴趣信息提取，再经过头戴式增强现实设备与人眼中的真实环境进行高精度配准，最后经过头戴显示设备实现对环境、人体行为、车辆、威胁来源等态势信息的“虚实结合”展示。

为了实现上述目的，本发明提供了一种人机共融的远程态势智能感知系统，将增强现实技术与无人系统技术相结合，将场景感知设备探测到的当前场景的环境与目标信息通过增强现实设备与人的视觉内容进行一致性融合，人机共融，真正成为人的“眼”与“耳”的延伸，使人对周边复杂未知环境的感知范围与深度极大扩展，能够在不干扰人员正常行动的情况下提供穿越障碍、跨视距、超分辨的环境感知与目标认知等应用服务。该系统具体包括：

场景感知设备，其搭载在无人移动平台上，用于获取当前场景中的虚拟场景部分的单目彩色图像、双目彩色图像、深度图像、点云数据、惯性测量数据，基于上述数据，构建初步的三维场景模型；

定位单元，位于场景感知设备上，用于实时获取场景感知设备所处的位置，对当前场景的虚拟场景部分进行定位；

由于场景感知设备搭载在无人平台上，无人平台是实时移动的，如果室外的大部分场景有GPS信号，则定位单元可以通过采用GPS对场景感知设备所处的位置进行定位；如果室外的场景或者室内的场景没有GPS信号，则定位单元依靠视觉定位来实时获取无人平台的位置，进而获得场景感知设备所处的位置，以解决无GPS信号环境下的定位问题。其中，所述定位具体包括：

a)通过双目彩色图像融合惯性测量数据来定位场景感知设备所处的位置；

b)通过单目彩色图像、深度图像融合惯性测量数据来定位场景感知设备所处的位置；