[发明专利]一种基于实例嵌入与语义融合的三维点云场景分割方法

权利要求书

1.基于实例嵌入与语义融合的三维点云场景分割方法，其特征在于，包括下列步骤：

步骤1、点云映射及特征提取：

步骤101：将三维点云空间划分为体素空间，从而得到多个体素块；并将同一体素块内的所有点云的位置属性的均值作为映射后的新的点云位置属性；

步骤102：提取映射后的各点云的特征向量：

基于预置的邻域范围，计算每个邻域位置的三维位置坐标的协方差矩阵的特征值，并降序排列得到：对于每个邻域，计算邻域的三维位置坐标的协方差矩阵的特征值，并降序排列，得到λ₁≥λ₂≥λ₃；

计算各邻域位置的本征熵并取本征熵E最小的邻域作为最优邻域；其中，参数

基于最优邻域的特征值λ₁、λ₂、λ₃计算每个点云的属性特征，并连同点云的颜色和三维位置坐标得到各点云的特征向量；

其中，属性特征包括：散射性线性平面性和垂直性分别为：

u_j表示特征值λ_j的特征向量，ω表示权重；

步骤2、设置并训练三维点云的分类分割网络：

所述分类分割网络包括：第一位置变换网络、第一多层感知器、第二位置变换网络、第二多层感知器、最大池化层、第三多层感知器、第四多层感知器和第五多层感知器；

其中，第一位置变换网络和第二位置变换网络用于对输入的点云进行几何位置变换；

第一多层感知器和第二多层感知器用于对输入的点云进行高纬空间映射处理；

分类分割网络的输入为步骤1得到的点云的特征向量依次经第一位置变换网络、第一多层感知器、第二位置变换网络、第二多层感知器和最大池化层后，得到全局特征图；

将全局特征图与第二位置变换网络后的特征图进行特征拼接，再输入第三多层感知器；

第三多层感知器用于对输入的特征图进行降维处理，降维后的特征图分别输入到第四多层感知器和第五多层感知器中，通过第四多层感知器进行实例分割、通过第五多层感知器进行语义分割；

基于预置的训练样本集和训练结束条件，对所述分类分割网络的网络参数进行训练，得到训练好的分类分割网络；

步骤3：对待处理的三维点云场景，采用步骤1的方式提取点云特征向量，并输入到训练好的分类分割网络中获取分割结果。

2.如权利要求1所述的方法，其特征在于，通过CRF函数模型对分割结果进行优化处理。

3.如权利要求2所述的方法，其特征在于，对分割结果具体的优化处理为：

采用最小化能量函数实现对分割结果的优化处理，所述能量函数为：

其中，V表示三维场景的三维点云集合，分别表示每个点云v_j的语义标签和实例标签；

为关于实例标签的一元势函数，下标j用于表示不同的点云；

为关于不同点云的实例标签的二元势函数，下标j,k用于表示两个不同的点云；

φ³(s,i)为基于语义标签s与实例标签i之间的相互信息定义的一元势函数，S表示语义标签集，I表示实例标签集；且φ³(s,i)＝-h_i(s)logh_i(s)，h_i(s)表示语义标签s在实例标签为i的点云中出现的频率。

4.如权利要求1、2或3所述的方法，其特征在于，第一位置变换网络和第二位置变换网络采用T-Net网络。

5.如权利要求1、2或3所述的方法，其特征在于，步骤101中，映射后的各点云满足：中心点云的邻域至少包括N¹个映射点云，边缘点云的邻域至少包括N²个映射点云，顶点点云的邻域至少包括N³个映射点云，其中N¹，N²，N³为预设值，且N¹＞N²＞N³。