[发明专利]遥感图像的语义立体重构方法

摘要

本发明公开了一种遥感图像的语义立体重构方法，主要解决现有技术中由于忽略语义分割与视差估计的相关信息导致的语义立体重构精度低的问题。其实现方案是：首先对实验数据进行预处理；使用其中训练数据训练语义分割网络与视差估计网络；将训练好的网络对测试图像进行测试，将不同频段信息的测试结果相融合，得到融合后的语义分割结果与视差结果；再使其相互辅助，将对方的错误部分修正；再由视差信息计算得到高度信息，将语义分割结果与高度信息结合得到图像的语义立体重构结果。本发明提升了小样本的占比，平衡了数据对网络的影响，并通过将语义信息与视差结果相互融合，提高了遥感图像的语义立体重构的准确度，可用于城市场景三维重构。

主权项

1.一种遥感图像的语义立体重构方法，是要获得语义分割结果与视差估计结果，其特征在于，实现步骤包括如下：(1)获取遥感图像数据集US3D，该遥感图像数据集包含遥感图像及其语义分割标签，遥感图像分辨率大小为1024×1024，图像类型包含彩色RGB图像以及八通道多光谱图像MSI，每种类型遥感图像都包含极线校正过的左右图像对，语义分割标签包含：建筑、地面、高植被、高架路和水这五类；(2)对遥感图像依次进行去除标签噪声、图像筛选、数据增强、MSI通道拆分重组的数据预处理；(3)将数据预处理后的遥感图像按照0.95：0.05的比例划分为训练图像与测试图像。(4)结合训练图像多通道的不同特征对语义分割网络进行训练，得到训练好的语义分割网络；(5)利用训练好的语义分割网络对测试图像进行语义分割，得到语义分割结果；(6)利用训练图像中的RGB图像对视差估计网络进行训练，得到训练好的视差估计网络；(7)利用训练好的视差估计网络对测试图像进行视差估计，得到视差估计结果；(8)利用视差估计结果对错误的语义分割结果进行修正，得到修正后的语义分割结果；(9)对视差估计结果先进行左右一致性检测，得到错误匹配点与正确匹配点，并从修正后的语义分割结果中挑选出与错误匹配点语义分割结果为同类的正确匹配点，将这些正确匹配点的视差值取平均值，再用该平均值修正错误匹配点的视差值，得到修正后的视差估计结果。