[发明专利]一种基于聚焦权重矩阵与变尺度语义分割神经网络的遥感对象解译方法

权利要求书

1.一种基于聚焦权重矩阵与变尺度语义分割神经网络的遥感对象解译方法，其特征在于，包括：

步骤S1：获取预设研究区域的高分辨率遥感影像，并对获取的高分辨率遥感影像进行预处理；

步骤S2：利用专业GIS软件进行矢量化工作，得到研究区域专题图层，并对矢量专题图栅格化，得到对应的栅格灰度图；

步骤S3：对预处理后的遥感影像以及栅格灰度图进行切割，提取出两套空间尺度的数据样本集，其中，两套空间尺度的数据样本集分别包含原始影像和大尺度GT图，原始影像和小尺度GT图；

步骤S4：对两套空间尺度的数据样本集中的每个遥感影像按照多空间尺度遥感影像标注策略进行内容标注，得到样本集标注；

步骤S5：构建变尺度遥感影像语义解译模型，通过解译模型得到多尺度语义分割图，并通过掩膜提取算法提取出两个尺度对象的掩膜，再通过一个变尺度对象识别将U-Net网络分割出的小尺度掩膜对象与语义描述中的名词进行关联，其中，变尺度遥感影像语义解译模型包括：FCN全卷积网络、U-Net语义分割网络以及基于Attention机制的LSTM网络，其中，FCN网络用于大尺度对象分割，U-Net网络用于小尺度对象分割，LSTM用以生成包含两个空间尺度对象及其空间关系的语义描述；

步骤S6：对构建的变尺度遥感影像语义解译模型中的FCN网络、U-Net语义分割网络以及LSTM网络进行训练，得到训练后的模型；

步骤S7：利用训练后的模型进行遥感对象的识别，具体包括：通过LSTM网络当前时刻生成名词的聚焦权重矩阵定位到U-Net语义分割得到的掩模图中相应的小尺度对象，如果对象类标签与名词相同，则完成对象的识别，其中，聚焦权重矩阵由LSTM网络在生成每个时刻单词时生成，代表当前生成单词在图像中的关注区，通过LSTM网络当前时刻生成名词的聚焦权重矩阵定位到U-Net语义分割得到的掩模图中相应的小尺度对象，包括：

获得U-Net分割后得到的掩膜对象图在(i,j)位置的像元值，在每个掩膜对象中，对象所在的位置像元值为该对象的类别索引值C,其余位置为0；

获得聚焦权重矩阵与对象掩模图相交区域；

计算相交区域的平均权重值，平均权重值最大的遥感对象将会被选中，即定位到U-Net语义分割得到的掩模图中相应的小尺度对象。

2.如权利要求1所述的方法，其特征在于，当对象类标签与名词不相同时，所述方法还包括启动多尺度的遥感对象矫正算法，具体为：先通过升尺度方法，将当前关注区定位到的FCN语义分割得到的大尺度掩模对象，再通过降尺度方法，在候选大尺度对象中定位到类标签与名词相同的小尺度对象，从而完成对对象的识别。

3.如权利要求1所述的方法，其特征在于，所述方法还包括：对多尺度遥感影像语义解译模型进行效果验证分析。

4.如权利要求1所述的方法，其特征在于，步骤S4中的空间尺度遥感影像标注策略为：每个描述语句由小尺度遥感对象及其空间关系构成，同时隐含着一个大尺度的对象。

5.如权利要求1所述的方法，其特征在于，步骤S6具体包括：

步骤S6.1：根据预设比例从数据样本集中划分训练集与验证集；

步骤S6.2：分别设定FCN网络、U-Net网络以及LSTM网络的训练参数；

步骤S6.3：将原始影像和大尺度GT图作为输入数据加入FCN网络，对FCN网络进行迭代训练，保存对应的结果以及训练完成后得到的最优模型权重；

步骤S6.4：将原始影像和小尺度GT图作为输入数据加入U-Net网络，对U-Net网络进行迭代训练，保存对应的结果以及训练完成后得到的最优模型权重；

步骤S6.5：LSTM网络训练：将原始影像经过VGG-19提取的特征和多尺度语义标注作为输入数据加入LSTM网络，对LSTM网络进行迭代训练，保存对应的结果以及训练完成后得到的最优模型权重。