[发明专利]基于空间占用概率特征的跨维度遥感数据目标识别方法

权利要求书

1.基于空间占用概率特征的跨维度遥感数据目标识别方法，其特征在于，包括以下步骤：

S1：对二维图像遥感数据进行预处理：将二维图像遥感数据输入实例分割网络，并依据实例分割结果对遥感数据进行目标提取；

S2：对三维点云遥感数据进行预处理：将三维点云输入点云目标检测网络，依据目标检测结果对三维点云遥感数据进行目标分割；

S3：将S1处理后的图像输入二维图像的空间占用概率特征的深度学习网络，提取二维图像的空间占用概率F_test-2D；

S4：将S2处理后的三维点云输入三维点云的空间占用概率特征的深度学习网络；提取三维点云的空间占用概率F_test-3D；

S5：将S3和S4中得到的空间占用概率特征F_test-2D和F_test-3D输入分类器进行目标识别，实现二维图像数据与三维点云数据的关联；所述的分类器采用pointnet++点云分类网络，采用pointnet++点云分类网络进行目标识别的过程包括以下步骤：

(1)、将S3和S4得到的数组形式的空间占用概率转换成点云形式，并设置点云中点的数量为定值m，若点云中的点数＞m则进行下采样操作，若点云中的点数＜m则进行上采样操作；

(2)、将上述预处理后的点云数据输入到pointnet++点云分类网络中；依据最终提取到的1*k的特征进行分类，即实现了二维图像数据与三维点云数据的关联。

2.根据权利要求1所述的基于空间占用概率特征的跨维度遥感数据目标识别方法，其特征在于，S1所述的实例分割网络采用PANET。

3.根据权利要求2所述的基于空间占用概率特征的跨维度遥感数据目标识别方法，其特征在于，S2所述的点云目标检测网络采用3D-BONET。

4.根据权利要求1、2或3所述的基于空间占用概率特征的跨维度遥感数据目标识别方法，其特征在于，S3所述的二维图像的空间占用概率特征的深度学习网络为OccupancyNetwork-2D网络，即Onet-2D，其训练过程包括以下步骤：

S301、构建二维图像数据集M_pre-2D，二维图像数据集M_pre-2D包括一个二维图像训练数据集M_tr-2D和一个二维图像测试数据集M_test-2D；

S302、训练Onet-2D：

将二维图像训练数据集M_tr-2D中的二维图像数据输入Onet-2D，Onet-2D首先采用带有超强通道注意力模块ECA的RESNET18残差网络对输入的二维图像数据进行特征提取，得到1*256的特征F₁；

其次，随机生成一个单位体积的采样点云立方体，将点云立方体中每个点的x、y、z坐标输入一个三层的mlp多层神经网络，并转置，得到256*N的特征F₂；

然后将F₁和F₂分别输入至少一个条件批量标准化模块，所述的条件批量标准化模块即CBN模块；具体过程包括以下步骤：

将从二维图像提取到的1*256的特征F₁输入mlp多层神经网络，得到N*256的特征F₃，并与从三维点云中提取到的特征F₂进行.*运算，得到特征F₄，再将F₄与二维图像特征F₁通过mlp多层神经网络后得到N*256的特征F₃进行相加运算，得到N*256的特征F₅；再将F₅进行最大池化操作，得到1*256的特征F₆，再进行卷积操作和sigmoid操作得到最终的N*256的特征F₇；

当条件批量标准化模块大于一个时，将从二维图像提取到的1*256的特征F₁输入mlp多层神经网络，得到N*256的特征F₃，并与从前一个条件批量标准化模块得到的特征F₇进行.*运算，得到特征F₄，再将F₄与二维图像特征F₁通过mlp多层神经网络得到N*256的特征F₃进行相加运算，得到N*256的特征F₅；再将F₅进行最大池化操作，得到1*256的特征F₆，再进行卷积操作和sigmoid得到新的N*256的特征F₇；

最后，将F₇输入mlp多层神经网络即可得到N*3的点云形式的预测结果；将训练集中的根据地物目标实际尺寸绘制的三维模型进行处理，得到真值点云，将真值点云与预测结果进行比对并计算loss值；

经过迭代最终完成训练得到训练好的Onet-2D。