[发明专利]基于虚拟知识迁移的建筑物及其遮挡区域单体化提取方法

说明书

基于虚拟知识迁移的建筑物及其遮挡区域单体化提取方法，涉及遥感图像信息提取领域，本发明为了解决建筑物信息提取中，训练样本不充足，目标情况和遮挡情况均具有高度不确定性的透视实例分割问题，提出了基于虚拟知识迁移的建筑物及其遮挡区域的单体化提取方法。引入虚拟知识生成模块，自动化地获取大量带有真实遮挡情况标记的、具有相似语义关系的、观测角度全面覆盖的训练数据，解决了训练样本不充足的问题。采用实例分割与遮挡判别模块相结合的策略，配合特征金字塔网络，解决了建筑物形态，尺度以及遮挡情况多样性的问题，且建筑物透视实例分割的准确率高。

技术领域

本发明涉及遥感图像信息提取领域，具体为遥感图像中建筑物场景仿真和建筑物信息提取技术领域。

背景技术

基于可见光遥感图像的建筑物信息提取技术一直是国防和民生领域的重要研究课题。目前大多数相关研究都是利用正射遥感图像进行，然而，在一些特殊情况下，可能无法获取足够数量的正射图像，相比而言，倾斜遥感图像的获取更容易，因此在实际应用当中，针对于倾斜遥感图像的研究有着非常重要的作用。

随着深度学习理论在遥感图像处理方面的不断应用，目标检测，语义分割和实例分割已经成为遥感建筑物信息提取的新思路，其中实例分割综合了目标检测和语义分割，可以逐一区分每个像素的类别以及检测物体边界，提取图像中的建筑物，是建筑物信息提取领域当中的重要方法。2016年有学者提出了Amodal Instance Segmentation(目前有资料译为透视实例分割)，是指在常规实例分割基础上，进一步预测场景中物体被遮挡部分的轮廓。在倾斜遥感图像中，遮挡情况无可避免，如果能够通过透视实例分割方法预测被遮挡的建筑物轮廓，则有利于约束建筑物三维结构，同时也有助于恢复建筑物因遮挡而缺失的纹理信息，对遥感图像建筑物相关领域的研究有着重大意义。

倾斜遥感图像的透视实例分割技术由于其任务的复杂性，存在两方面的问题有待解决：

①建筑物形态多样、尺度不一，多数基于检测框的实例分割策略难以进行有针对性的设置。同时，在不同观测角度的图像中，遮挡情况极为复杂，建筑物透视实例分割的准确性不易保证。

②面向透视实例分割的数据标注工作十分繁琐且不易大量获取，在训练样本不充分的情况下，更进一步提升了透视实例分割的难度。

发明内容

本发明的目的是：针对现有技术中建筑物透视实例分割训练样本不足以及准确率低的问题，提出基于虚拟知识迁移的建筑物及其遮挡区域单体化提取方法。

本发明为了解决上述技术问题采取的技术方案是：基于虚拟知识迁移的建筑物及其遮挡区域单体化提取方法，具体包括以下步骤：

步骤一：获取待识别场景的仿真场景V_{_Sim}及仿真场景V_{_Sim}的标签V_{_Label}，然后利用仿真场景V_{_Sim}和仿真场景V_{_Sim}的标签V_{_Label}得到仿真图像S_Image及仿真图像S_Image对应的真值S_Label，最后利用仿真图像S_Image和仿真图像S_Image对应的真值S_Label形成虚拟知识K_sim；

步骤二：根据虚拟知识K_sim获得建筑物整体和立面的检测框区域Boxes以及仿真图像S_Image中每个实例的注意力图r_k，并生成整幅图像的基底Bases，所述整幅图像的基底Bases中包含每个实例的基底s_k；