[发明专利]遥感图像的语义立体重构方法

权利要求书

1.一种遥感图像的语义立体重构方法，是要获得语义分割结果与视差估计结果，其特征在于，实现步骤包括如下：

(1)获取遥感图像数据集US3D，该遥感图像数据集包含遥感图像及其语义分割标签，遥感图像分辨率大小为1024×1024，图像类型包含彩色RGB图像以及八通道多光谱图像MSI，每种类型遥感图像都包含极线校正过的左右图像对，语义分割标签包含：建筑、地面、高植被、高架路和水这五类；

(2)对遥感图像依次进行去除标签噪声、图像筛选、数据增强、MSI通道多频段拆分重组的数据预处理；

(3)将数据预处理后的遥感图像按照0.95：0.05的比例划分为训练图像与测试图像；

(4)结合训练图像多通道的不同特征对语义分割网络进行训练，得到训练好的语义分割网络；

(5)利用训练好的语义分割网络对测试图像进行语义分割，得到语义分割结果；

(6)利用训练图像中的RGB图像对视差估计网络进行训练，得到训练好的视差估计网络；

(7)利用训练好的视差估计网络对测试图像进行视差估计，得到视差估计结果；

(8)利用视差估计结果对错误的语义分割结果进行修正，得到修正后的语义分割结果；

(9)对视差估计结果先进行左右一致性检测，得到错误匹配点与正确匹配点，并从修正后的语义分割结果中挑选出与错误匹配点语义分割结果为同类的正确匹配点，将这些正确匹配点的视差值取平均值，再用该平均值修正错误匹配点的视差值，得到修正后的视差估计结果。

2.根据权利要求1所述的方法，其特征在于，(2)对遥感图像进行去除标签噪声处理，是去除在遥感图像语义分割标签中明显错误标注的图像，留下语义分割标签正确的图像，避免错误标注对语义分割网络产生错误训练。

3.根据权利要求1所述的方法，其特征在于，(2)中对去除标签噪声后的遥感图像进行图像筛选，是通过设置阈值的方式进行数据筛选，筛选出类别多样性好的图像以及场景特殊但样本数量少的图像，即设置类别阈值为2，留下图像中类别＝2的图像；设置场景阈值为10，对场景图像数＝10的图像进行保留，对场景图像数＝100的图像进行随机删除，直到该场景图像数至剩余100张。

4.根据权利要求1所述的方法，其特征在于，(2)中对数据筛选后的图像依次进行数据增强以及MSI图像多频段拆分重组，其实现如下：

数据增强：是将每张图像以概率p＝0.5先进行随机角度90°—270°的旋转，再进行上下、左右翻转，以增强网络对场景角度、形态变化的鲁棒性；

MSI图像多频段拆分重组：是将MSI图像8个通道中第2，第4，第6三个通道组合在一起，制作高植被类二分类数据集T1，将MSI图像8个通道中第4，第6，第7三个通道组合在一起，制作水类二分类数据集W1。

5.根据权利要求1所述的方法，其特征在于，(4)中结合训练图像多通道的不同特征对语义分割网络进行训练，实现步骤如下：

(4a)使用RGB图像训练五分类语义分割网络，得到训练好的语义分割网络F1；

(4b)使用MSI图像训练五分类语义分割网络，得到训练好的语义分割网络F2；

(4c)使用RGB图像对建筑、高植被、高架路、水每一类别分别训练二分类语义分割网络，对应得到训练好的语义分割网络F3、语义分割网络F4、语义分割网络F5、语义分割网络F6；

(4d)使用高植被类二分类数据集T1训练高植被类别的二分类网络，得到训练好的语义分割网络F7；

(4e)使用水类二分类数据集W1训练水类别的二分类网络，得到训练好的语义分割网络F8。