[发明专利]一种基于高层和低层特征交叉增强的变化检测方法及装置

说明书

本发明公开了一种基于高层和低层特征交叉增强的变化检测方法及装置，包括：通过交叉增强模块对交叉编码特征进行反复优化，即：将得到的低层变化特征与高层变化特征逐元素相乘得到表征能力更好的低层特征；将处理过的高层变化特征与低层变化特征逐元素相乘以更新高层特征；重复以上操作以提高特征的代表能力；在训练过程中分别对交叉编码层的变化检测预测结果计算损失并求和，再分别将交叉增强过程中不同阶段的高层、低层变化特征的输出计算损失并求和，与最终的变化检测结果的损失依次相加得到最终的损失；基于Pytorch深度学习网络框架进行训练，基于训练后的模型进行变化检测。本发明经过融合多层预测图，得到准确的变化结果。

技术领域

本发明涉及变化检测领域，尤其涉及一种基于高层和低层特征交叉增强的变化检测方法及装置。

背景技术

图像的变化检测是计算机视觉领域的一个重要研究课题，其主要任务是对同一场景不同时刻所拍摄的图像进行处理，从而检测出两次观测中所捕获图像的变化区域，在资源监测、异常检测、视频监控及自动驾驶等领域有着广泛的应用。

传统的变化检测方法采用人为设计的手工特征和优化算法。早期变化检测方法最常使用的是图像差值法。虽然基于图像差值的变化检测方法简单直观，但是需要选取合适的阈值将变化区域和未变化区域分割出来。此外一些复杂的特征例如：梯度、变化向量分析(CVA)等方法也被引入到变化检测领域中。文献[1]中证明了变化向量分析法在土地覆盖与土地状况的多光谱监测中具有潜在实用性。为了提高检测结果的鲁棒性，变化检测中又引入了更多复杂的模型。例如文献[2]提出了利用马尔科夫数据融合方法合并小波特征和空间上下文以生成精确的变化；文献[3]将变化检测建模为具有迭代耦合字典学习模型的重构问题；文献[4]利用像素不变的联合字典通过重构误差来检测图像中的变化。为了克服光照、相机位姿的影响，以得到更好的变化检测结果，文献[5]提出了规模从小到大的图像对齐、照明校正和基于低秩变化检测的联合优化。还可以在图像对齐和校正照明后使用图像差值法，如文献[6]。尽管传统的变化检测方法使用起来简单直观，但在现实场景应用中检测结果受光照和相机位姿等因素干扰较大。

近年来，随着深度学习的迅猛发展，卷积神经网络(CNN)在计算机视觉领域取得了巨大成功。目前，很多变化检测方法设计了不同的深度卷积神经网络体系结构，以克服相机位姿差异和光照的干扰，使检测结果具有较好的鲁棒性。例如文献[7]设计了一种只有两个卷积层和一个全连接层的小型网络，用以检测28×28的图像对是否发生变化。训练后可以使用滑动窗口生成一个全分辨率预测。文献[8]通过卷积神经网络处理海啸来临前后建筑物的航拍图像，以判断建筑物的损害情况。但以上方法仅是模型的输入不同，但其基础网络结构都是通过堆叠多个卷积层实现。除卷积神经网络(CNN)外，一些其他方法也被应用到了变化检测中，例如：生成对抗网络(GAN)、循环卷积神经网络(RCNN)和长短期记忆网络(LSTM，Long Short-Term Memory)。实际上，上述大部分基于深度学习的变化检测方法仅仅是引入网络结构的不同。

然而，如何设计高效的变化检测网络仍然是一个开放的问题。本方法将特征交叉增强的思想引入到变化检测中，在保证更好地描述图像变化的同时，对光照、相机位姿差异和季节变化具有较好的鲁棒性，得到更接近真实变化的预测结果。

参考文献

[1]R.D.Johnson,E.Kasischke,Change vector analysis:A technique for themultispectral monitoring of land cover and condition,International Journal ofRemote Sensing 19(3)(1998)411–426.