[发明专利]一种三维人体语义分割方法、终端设备及存储介质

说明书

本发明涉及一种三维人体语义分割方法、终端设备及存储介质，该方法中,首先设计一个基于空洞卷积，并行核卷积和注意力机制的人体多视图语义分割方法，可以充分提取人体点云投影到二维的像素级特征；然后设计了一个基于稀疏卷积和场景补全的人体体素语义分割方法，稀疏卷积可以较少内存消耗，场景补全可以辅助网络更好的分割人体不同部位；最后将基于多视图，体素和原始人体点云的三分支语义分割方法结合到一起并通过高斯加权交叉熵损失监督，改进了传统三维点云普遍使用单阶段语义分割方法的思想。

技术领域

本发明涉及计算机视觉领域，尤其涉及一种三维人体语义分割方法、终端设备及存储介质。

背景技术

点云语义分割是语义分割的三维形式，其使用三维点云代替二维图像中的像素。点云可以通过多种方式获取。第一种从光谱图像间接生成点云，通过摄像机类似的电光系统获取多视图图像，并根据摄影测量或计算机视觉理论中的原理计算三维点信息；第二种激光雷达采集点云，激光雷达利用激光能量来测量传感器与采集对象之间的距离，雷达系统分为机载雷达扫描(ALS)，地面雷达扫描(TLS)，移动雷达扫描(MLS)和无人驾驶扫描(ULS)系统；第三种通过RGB-D传感器获取RGB和深度信息，深度图中包含每个像素的3D空间位置可直接用于产生点云；第四种通过干涉性合成孔径雷达(INSAR)采集点云，合成孔径雷达断层扫描法和持久性散射器干涉法可将SAR图像原理延申到点云。

点云语义分割在各个领域有着广泛的应用，包括城市规划，森林遥感监控，机器人场景感知，自动驾驶等。例如通过语义分割对城市建筑物，道路，绿化等进行分割进而辅助城市规划；通过语义分割对高大灌木，植被，河流等进行分割进而辅助森林遥感监控；通过语义分割对室内家居，障碍物进行识别辅助机器人场景感知；通过语义分割对室外车辆，斑马线，行人进行分割辅助车辆自动驾驶。

目前主流的语义分割方法为基于点的方法。基于点的方法直接以原始点云作为网络输入。基于体素的方法会受到内存的严格限制，因此在低分辨率情况下，多个点或者多个体素可能合并为一个网格而变得难以区分。基于多视图的方法存在遮挡，光照或者相机姿态未对准的情况，因此无法在标准3D分割基准上达到SOTA性能。当涉及本地邻居搜索时，基于点的方法很难达到实时要求。

发明内容

为了解决上述问题，本发明提出了一种三维人体语义分割方法、终端设备及存储介质。

具体方案如下：

一种三维人体语义分割方法，包括以下步骤：

S1：采集原始人体点云C_raw，并将其投影到多个虚拟摄像机视图中，生成多副二维人体图像；

S2：针对每副人体图像计算其中每个像素的分割结果，并将多幅人体图像中对应的各像素的分割结果进行融合后，得到人体点云中每个点的第一语义分割结果S_img；

S3：对原始人体点云进行体素化处理，得到人体点云的体素表示；通过基于稀疏卷积和子流形稀疏卷积的U-Net网络对每个点的体素进行卷积后，将卷积结果转换为点状特征F_point，并将点状特征F_point转换为形状先验特征F_shape；

S4：将点状特征F_point输入第一全连接网络中，并将第一全连接网络的输出输入编码器解码器网络中，得到语义场景补全结果S_complete；

S5：将形状先验特征F_shape和语义场景补全结果S_complete输入到点-体素模块内，点-体素模块首先从语义场景补全结果S_complete中选择所有非空体素的几何中心作为新人体点云C_new，然后使用k最近邻算法查询原始人体点云C_raw中的最近点；