[发明专利]一种人机共融的远程态势智能感知系统

权利要求书

1.一种人机共融的远程态势智能感知系统，其特征在于，该系统具体包括：

场景感知设备，其搭载在无人移动平台上，用于获取当前场景中的虚拟场景部分的单目彩色图像、双目彩色图像、深度图像、点云数据、惯性测量数据，基于上述数据，构建初步的三维场景模型；

所述场景感知设备进一步包括：

单目相机，用于获取场景感知设备所处当前场景的单目彩色图像；

双目相机，用于获取场景感知设备所处当前场景的特定基线下的双目彩色图像；

深度传感器，用于获取场景感知设备所处当前场景的深度数据；

激光雷达，用于获取场景感知设备所处当前场景的点云数据；

惯性传感器，用于获取场景感知设备所处当前场景的惯性测量数据；

基于获取的当前场景中的虚拟场景部分的单目彩色图像、双目彩色图像、深度图像、点云数据、惯性测量数据，基于上述数据，构建初步的三维场景模型；

定位单元，位于场景感知设备上，用于实时获取场景感知设备所处的位置，对当前场景的虚拟场景部分进行定位；

场景重建单元，用于基于场景感知设备所获取的初步的三维场景模型和当前场景的虚拟场景部分的定位信息，利用视觉特征，重建当前场景的虚拟场景部分的三维重建模型；

人体识别单元，用于识别当前场景的虚拟场景部分的三维重建模型中的人体姿态；

通过场景重构单元构建出实际的地形数据并提取感兴趣的实体对象进行标注，同时通过人体行为识别单元识别出其中的人物及其动作并进行标注，对其中无效的信息或用户不感兴趣的信息，进行剔除；

增强现实设备，用于获取当前场景中的现实场景部分的单目彩色图像、双目彩色图像、深度图像、点云数据、惯性测量数据，构建现实场景部分的三维重建模型；

虚实融合单元，用于将虚拟场景部分的三维重建模型与现实场景部分的三维重建模型进行融合，获得虚实融合后的当前场景的三维重建模型；

可视交互单元，用于展示虚实融合后的当前场景的三维重建模型。

2.根据权利要求1所述的系统，其特征在于，所述场景重建单元具体包括：

通过单目彩色图像与深度图像结合、双目彩色图像基于双目相机的基线大小、或激光雷达获取场景点云数据，再结合定位单元所获取的场景感知设备所处的位置，通过不断融合相邻时刻所获取的场景点云数据并进行网格化，结合视觉特征，逐步细化并修正场景感知设备所构建的初步三维场景模型，重建当前场景的虚拟场景部分的三维重建模型。

3.根据权利要求1所述的系统，其特征在于，所述人体识别单元具体包括：

针对当前场景的虚拟场景部分的三维重建模型中的每一幅彩色图像，基于人体骨骼关节点拓扑结构，通过深度学习的方法，确定人体各肢体在图像中的位置、区域，从而估计人体的二维姿态；由于人体的运动是连续的，其骨骼关节点的运动轨迹也是连续的，因此利用相邻时刻获取的人体的二维姿态信息，对当前时刻所估计的人体的二维姿态进行预测修正，最终得到优化后的人体的二维姿态信息；通过优化后的人体的二维姿态，针对每一个关节点在二维图像中的像素位置来查找其在深度数据所对应的深度信息，从而获取三维人体姿态，并将该三维人体姿态结果与场景重建单元中动静分离后的运动物体点云数据进行匹配，对匹配成功的点云数据进行网格化，完成三维姿态映射，形成最终的三维场景下的人体姿态。

4.根据权利要求1所述的系统，其特征在于，所述虚实融合单元具体包括：

根据每一时刻中的场景感知设备与增强现实设备分别在现实世界中所处的位置和姿态来配准对应时刻的数据内容，从而将虚拟场景部分的三维重建模型与现实场景部分的三维重建模型进行几何一致性渲染，并进行配准定位，达到高精度匹配；通过实时获取场景感知设备所处场景以及增强现实设备所处场景中的光源进行光照一致性渲染，获得渲染融合后的场景光照；将虚拟场景部分的三维重建模型与现实场景部分的三维重建模型，以及渲染融合后的场景光照进行融合，获得虚实融合后的当前场景的三维重建模型。