[发明专利]基于HoloLens空间映射的三维场景语义分析方法

说明书

本发明公开了一种基于HoloLens空间映射的三维场景语义分析方法，具体按照以下步骤实施：通过HoloLens对室内真实场景进行扫描重建，获得场景的三维空间映射的网格数据a；将得到的网格数据a转换成点云数据b，并完成点云数据b的预处理和数据标注；步骤不断重复前两步直至完成所需要室内数据的采集和标注，并制作成室内点云数据集以及类别信息查找表；对三维场景语义神经网络进行模型训练，并保存训练模型M；HoloLens场景语义分析工具包制作，完成场景信息标注和空间区域划分，提高HoloLens对空间认知能力。本发明提供的方法可以提高HoloLens空间映射能力以及在HoloLens中直接观察空间物体的分布和类别的能力，提升HoloLens对空间环境的感知能力。

技术领域

本发明属于计算机视觉技术领域，涉及一种基于HoloLens空间映射的三维场景语义分析方法。

背景技术

随着硬件技术的革新，虚拟现实(VR)、增强现实(AR)以及混合现实(MR)在三维空间认知上有了很大提升。混合现实技术将真实场景和虚拟场景结合起来，并且可以与之交互，增强了用户的真实感体验。

HoloLens是微软推出的一款混合现实设备，用户在佩戴HoloLens之后可以通过眼镜上的透镜看到真实的环境，同时虚拟的数字模型和动画也会通过透镜显示出来。HoloLens可以通过传感器获取周围真实场景的三维扫描数据，利用HoloToolKit工具包可将三维数据进行空间映射处理，使之成为紧贴真实场景物体表面的网格数据。但是HoloLens获取的场景数据只具备场景的XYZ坐标信息，缺乏场景的颜色(RGB)信息，并且空间映射仅仅停留在将真实环境转化为整体网格模型,无法对真实空间物体进行解析，形成对三维空间物体的认知。本发明是在HoloLens所获得的空间映射数据基础上，通过将空间映射数据转换为点云数据，并对其进行语义分析，从而获得关于真实空间物体个体的认知，为更为复杂的智能交互做好准备。

发明内容

本发明的目的是提供一种基于HoloLens空间映射的三维场景语义分析方法，解决了现有技术中存在的HoloLens无法通过三维数据对三维场景进行语义分析的问题。

本发明所采用的技术方案是，一种基于HoloLens空间映射的三维场景语义分析方法，具体按照以下步骤实施：

步骤1：通过HoloLens对室内真实场景进行扫描重建，获得场景的三维空间映射的网格数据a；

步骤2：将步骤1得到的网格数据a转换成点云数据b，并完成点云数据b的预处理和数据标注；

步骤3：不断重复步骤1和步骤2，直至完成所需要室内数据的采集和标注，并制作成室内点云数据集以及类别信息查找表；

步骤4：对三维场景语义神经网络进行模型训练，并保存训练模型M；

步骤5：HoloLens场景语义分析工具包制作，完成场景信息标注和空间区域划分，提高HoloLens对空间认知能力。

本发明的特点还在于：

步骤1具体按照以下步骤实施：

步骤1.1、通过局域网内PC端登录HoloLens IP地址；

步骤1.2、佩戴HoloLens在室内场景中走动，HoloLens将进行场景建模；

步骤1.3、不断更新网页端，并下载HoloLens空间映射的室内场景网格数据a，保存格式为.obj。

步骤2具体按照以下步骤实施：

步骤2.1、对网格数据a进行泊松圆盘采样，通过选择不同的半径r对点云N个邻域点进行采样判断，N为30～50，得到均匀分布的点云数据b；

步骤2.2、将点云数据b依次经过直通滤波、统计滤波和双边滤波进行离群点剔除，得到点云数据c。