[发明专利]一种三维人体语义分割方法、终端设备及存储介质

权利要求书

1.一种三维人体语义分割方法，其特征在于，包括以下步骤：

S1：采集原始人体点云C_raw，并将其投影到多个虚拟摄像机视图中，生成多副二维人体图像；

S2：针对每副人体图像计算其中每个像素的分割结果，并将多幅人体图像中对应的各像素的分割结果进行融合后，得到人体点云中每个点的第一语义分割结果S_img；

S3：对原始人体点云进行体素化处理，得到人体点云的体素表示；通过基于稀疏卷积和子流形稀疏卷积的U-Net网络对每个点的体素进行卷积后，将卷积结果转换为点状特征F_point，并将点状特征F_point转换为形状先验特征F_shape；

S4：将点状特征F_point输入第一全连接网络中，并将第一全连接网络的输出输入编码器解码器网络中，得到语义场景补全结果S_complete；

S5：将形状先验特征F_shape和语义场景补全结果S_complete输入到点-体素模块内，点-体素模块首先从语义场景补全结果S_complete中选择所有非空体素的几何中心作为新人体点云C_new，然后使用k最近邻算法查询原始人体点云C_raw中的最近点；

S6：将新人体点云C_new和原始人体点云C_raw输入图卷积网络，并将图卷积网络的输出输入第二全连接网络后，得到每个点的第二语义分割结果S_voxel；

S7：将原始人体点云C_raw直接输入PointNet网络中，得到每个点的第三语义分割结果S_point；

S8：将第一、第二和第三语义分割结果S_img、S_voxel和S_point相加后，得到三维人体语义分割结果。

2.根据权利要求1所述的三维人体语义分割方法，其特征在于：步骤S2中针对每副人体图像计算其中每个像素的分割结果的过程包括以下步骤：

S201：针对每副人体图像提取其特征图；

S202：将特征图输入多个并行的遵循金字塔结构的可变核卷积模块；

S203：将多个可变核卷积模块的输出通过注意力池化层进行融合；

S204：将注意力池化层融合后的结果输入全卷积网络层中，输出人体图像中每个像素的分割结果。

3.根据权利要求2所述的三维人体语义分割方法，其特征在于：步骤S201中通过卷积网络提取每副人体图像的特征图。

4.根据权利要求3所述的三维人体语义分割方法，其特征在于：卷积网络采用ResNet50网络结果，并采用空洞卷积替换ResNet50中的普通卷积层。

5.根据权利要求1所述的三维人体语义分割方法，其特征在于：步骤S3中体素化处理采用八叉树算法进行。

6.根据权利要求1所述的三维人体语义分割方法，其特征在于：步骤S3中将卷积结果转换为点状特征F_point采用最近邻插值算法进行。

7.根据权利要求1所述的三维人体语义分割方法，其特征在于：步骤S3中将点状特征F_point转换为形状先验特征F_shape采用多层感知机进行。

8.根据权利要求1所述的三维人体语义分割方法，其特征在于：还包括S9：将第一、第二和第三语义分割结果S_img、S_voxel和S_point分别进行加权交叉熵损失计算，并通过高斯函数调整不同损失之间的比例，得到最终的分割结果。