[发明专利]基于体素模型与颜色信息耦合的三维语义分割方法

权利要求书

1.一种基于体素模型与颜色信息耦合的三维语义分割方法，其特征在于：包括以下实施阶段，

1)、二维RGB图像处理阶段

针对于多个视角下的RGB图像，将多视角下的RGB图像送入backbone网络中，提取高维度图像二维特征信息；

获得当前帧映射到世界坐标系下的相机姿态信息；

利用RGB通道选择模块对于不同视角下的RGB二维特征赋予不同的权重；

2)、三维TSDF体素模型处理阶段

首先，进行前端三维模型重建；

其次，采取符号距离函数对整个TSDF体素模型进行计算；

然后，使用残差模块初步提取三维特征；

将处理后的TSDF体素模型数据与上述经过RGB通道选择模块提取后的特征，均利用残差模块进行处理，以初步提取其相关的三维特征；

3)、双通道信息融合及三维信息处理阶段

对于二维及三维信息进行融合；

利用三维卷积神经网络进行最终的特征提取，从而得到最终的体素级别语义分割结果。

2.根据权利要求1所述的基于体素模型与颜色信息耦合的三维语义分割方法，其特征在于：所述的二维RGB图像处理阶段，在获得当前帧映射到世界坐标系下的相机姿态信息中，利用三维重建或者SFM技术通过多视角几何方法进行计算。

3.根据权利要求1或2所述的基于体素模型与颜色信息耦合的三维语义分割方法，其特征在于：所述的二维RGB图像处理阶段，在所述的RGB通道选择模块中，首先，将输入特征进行全局池化；然后，将全局池化后的结果利用1*1大小的卷积层进一步提取特征；之后，利用batch normalization规范化特征的相关分布；最后，通过sigmoid激活函数处理，得到该模块提取出来的不同视角RGB特征的权重，并与输入特征进行点乘操作，得到输入特征加权后的结果。

4.根据权利要求1所述的基于体素模型与颜色信息耦合的三维语义分割方法，其特征在于：所述的三维TSDF体素模型处理阶段，在前端三维重建过程中，将输入的RGB图像中的depth信息融入到TSDF模型中，以作为本申请所采用三维网络的输入。

5.根据权利要求4所述的基于体素模型与颜色信息耦合的三维语义分割方法，其特征在于：所述的三维TSDF体素模型处理阶段，首先，残差模块将输入特征首先通过1*1的卷积层进行降维，以减少整个模型的参数量、加速模型训练，并经过ReLU激活函数激活后送入3*3的卷积层进行特征提取；然后，利用1*1的卷积层进行升维恢复到原始的维度；最后，将输入特征与升维后的特征相加得到残差模块处理后的特征。

6.根据权利要求1所述的基于体素模型与颜色信息耦合的三维语义分割方法，其特征在于：所述的双通道信息融合及三维信息处理阶段，在双通道信息融合模块中，首先，将RGB特征以及体素特征叠加在一起；然后，利用常用的3*3的卷积层+bacth normalization+ReLU激活函数，针对叠加后的信息进行初步的信息提取；之后，进行全局池化，提取全局特征，通过1*1卷积层+ReLU激活函数+1*1卷积层进行进一步处理；最后，利用sigmoid激活函数得到各个特征通道相应的权重，与3*3卷积层处理后的特征点乘得到加权后的特征，再与未加权的特征相加得到双通道信息融合后所提取到的特征信息。