[发明专利]遥感图像的语义立体重构方法

说明书

本发明公开了一种遥感图像的语义立体重构方法，主要解决现有技术中由于忽略语义分割与视差估计的相关信息导致的语义立体重构精度低的问题。其实现方案是：首先对实验数据进行预处理；使用其中训练数据训练语义分割网络与视差估计网络；将训练好的网络对测试图像进行测试，将不同频段信息的测试结果相融合，得到融合后的语义分割结果与视差结果；再使其相互辅助，将对方的错误部分修正；再由视差信息计算得到高度信息，将语义分割结果与高度信息结合得到图像的语义立体重构结果。本发明提升了小样本的占比，平衡了数据对网络的影响，并通过将语义信息与视差结果相互融合，提高了遥感图像的语义立体重构的准确度，可用于城市场景三维重构。

技术领域

本发明属于图像处理技术领域，更进一步涉及一种遥感图像的语义立体重构方法，可用于城市场景三维重构。

背景技术

由于对物体三维结构的感知有助于提高对真实场景的理解能力，立体重构在计算机视觉领域受到越来越多的关注。视差估计是立体视觉中的基本问题，视差估计用来获得图像深度信息。图像特征提取的有效性将直接影响视差预测结果的准确性，因此深度学习的方法在此方面的研究越来越多。遥感数据的应用越来越广泛，然而，由于遥感图像对季节变化具有显著的外观差异，所以成对图像的立体匹配仍是一个具有挑战性的问题。同时，语义分割对遥感图像进行像素级别的分类，将同一语义信息的物体分为同一颜色相同的区域，可以提取遥感图像数据的信息特征，且同一语义信息的像素点视差范围也接近，因此，将这两方面的信息融合成为遥感图像立体重构的新研究点。

哈尔滨工业大学在其申请的专利“一种双源遥感数据语义分割方法”(申请号：201810463076.6，公布号：CN108681706A)中提出将遥感数据与LiDAR DSM数据进行融合，利用LiDAR DSM数据丰富的高度信息，通过将卷积神经网络提取高层次特征，对分割精度产生很大的提升。但是该方法所述的双源遥感图像数据，必须通过以下两个操作来保证：一是要求有遥感图像对应的LiDAR系统获取的点云数据得到数字表面模型；二是要利用预训练模型分别训练两个单源数据网络，提取图像信息特征。因此，一旦上述任意条件无法满足，会影响遥感数据语义分割的训练难度和精准度。

电子科技大学在其申请的专利“一种基于三维卷积的双目视差估计方法”(申请号：201811011545.7，公布号：CN109308719A)中提出了一种全局视差估计方法和系统，其主要特征在于：在进行匹配空间计算时，根据预设规则在图像上选取采样点，再根据约束条件进行第一匹配空间和第二匹配空间的计算。其中，采用的约束条件包括线性约束条件和基于采样点的空间线束条件，所述线性约束条件为当前像素点与搜索点之间在颜色上的欧氏距离的约束，所述空间约束条件为搜索点与采样点之间在颜色上的欧氏距离的约束。同时采用了上述两个约束条件，使得计算出的匹配空间更加接近图像中物体的边缘，保证最终视差计算的准确度。但该方法对于图像不同目标的颜色差异要求大，因此针对于遥感数据的不同类别，如树和草地、高架桥和公路等，该方法并不适用。

发明内容

本发明的目的在于针对上述已有技术的不足，提供一种针对于遥感图像的语义立体重构方法，以简化语义分割与视差估计的步骤，提高图像语义分割的速度与精度，提升视差估计的精度。

本发明的技术方案是：利用卷积神经网络对遥感数据进行语义分割以及视差估计，同时利用语义分割结果与视差估计结果相互辅助，提高两者的速度与精度，其实现步骤包括如下：

(1)获取遥感图像数据集US3D，该遥感图像数据集包含遥感图像及其语义分割标签，遥感图像分辨率大小为1024×1024，图像类型包含彩色RGB图像以及八通道多光谱图像MSI，每种类型遥感图像都包含极线校正过的左右图像对，语义分割标签包含：建筑、地面、高植被、高架路和水这五类；

(2)对遥感图像依次进行去除标签噪声、图像筛选、数据增强、MSI通道拆分重组的数据预处理；

(3)将数据预处理后的遥感图像按照0.95：0.05的比例划分为训练图像与测试图像。