[发明专利]基于多级融合和角点偏移的图像旋转目标检测方法

说明书

本发明提出一种基于多级融合和角点偏移的遥感图像旋转目标检测方法，用于解决现有技术中存在的不同尺度目标的检测准确度低和检测过程运行速度慢的技术问题。本发明的实现步骤为：1、获取每个目标的旋转标注框的最小外接矩形；2、生成训练集；3、构建深度全卷积神经网络；4、训练深度全卷积神经网络；5、对图像中的旋转目标进行检测；6、对旋转目标的边框进行后处理；7、将所有目标的最终旋转检测框绘制到图像中对应的位置，得到检测结果图。本发明能够更好地区分图像中不同尺度目标，减少误检，提高了图像目标检测后目标框的精度。

技术领域

本发明属于图像处理技术领域，更进一步涉及遥感图像和自然图像目标检测中的一种多级融合和角点偏移的图像旋转目标检测方法。本发明可用于对遥感图像和自然图像中的旋转目标进行检测。

背景技术

遥感图像与自然图像相比较，遥感图像中目标的尺度变化范围较大。在不同的分辨率下，同一个目标的尺寸变化较大，在相同分辨率下，不同目标的尺寸差异也较大。为了能够更准确的区分不同尺度的目标的特征，将不同层级的特征进行合理的融合可以使每个层级在保留当前层级目标特征的基础上兼顾其他层级的目标特征，从而更有效的区分不同尺度的目标。在自然图像中，由于拍摄的设备往往是相机、监控等由手持或者相对固定的设备，拍摄到的物体也往往都是垂直于地面，从而在图像中处于一种基本水平和垂直的位置。因此，在自然图像中，往往通过不同尺寸的水平矩形来定位目标。然而，在遥感图像中，由于遥感图像的拍摄方式与自然图像有很大不同，其俯视角度的拍摄使得很多需要检测的目标朝向各异，因此在遥感图像的目标检测当中，采用旋转矩形框一方面可以确定出目标的朝向，另一方面更贴合目标物体的边框也能使对物体尺寸的计算更准确。

湖南大学在其申请的专利文献“一种图像语义特征约束的遥感目标检测方法”(专利申请号：202011018965.5，申请公布号：CN112101277A)中提出了一种遥感图像旋转目标检测方法。该方法采用了特征金字塔网络，通过双线性插值将高层级特征进行二倍上采样后与前一层级特征相加进行融合。通过在水平框参数的基础上加入角度参数来回归旋转框，并预设大量的旋转锚点。该方法存在两点不足之处是，其一，在对多层级特征进行融合的过程当中，只将高层级特征合并到低层级特征进行了单向融合，低层级特征没有合并到高层级特征中，从而使得低层级特征在高层级特征中的区分度不够，容易出现误检。其二，相比较于水平框目标检测任务中预设水平框锚点的方法，预设的旋转锚点的数量和计算量都增加了数倍，导致了算法需要消耗的硬件资源大。

Yongchao Xu等人在其发表的论文“Gliding vertex on the horizontalbounding box for multi-oriented object detection”(IEEE模式分析与机器智能汇刊TPAMI IEEE Transactions on Pattern Analysis and Machine Intelligence 2019年)中提出了一种基于水平包围盒滑动顶点的遥感图像旋转目标检测方法。该方法在不引入角度参数、只设置水平框锚点的情况下，实现了更高效的旋转目标检测。该方法通过在传统的水平框回归的基础上，预测旋转框四个顶点相对于目标外接水平框的四个顶点的偏移量。该方法在通过特征网络提取的特征图上应用区域建议网络生成候选旋转框，区域建议网络输出候选旋转框的中心坐标偏移量、外接水平矩形长、宽相对比例和四个顶点的偏移量等参数，然后根据区域建议网络生成的旋转矩形区域，在特征图上提取对应图像特征应用分类网络进行分类。这种方法只需要与自然图像中水平目标检测的预设锚点相同数量的锚点，而不需要像用角度参数描述旋转框一样设置更多的锚点。因此，该方法相对于角度回归方法具有更快的速度。但是，该方法仍然存在两点不足之处是，其一，在实际场景下，预测旋转框四个顶点的偏移量往往导致得到的旋转框不是严格意义的矩形，从而在与实际标注计算精度时会带来一定误差，导致精度低。在获取目标尺寸和朝向等下游任务上，同样导致了不准确。其二，由于两阶段目标检测网络架构的速度相对于单阶段检测网络较慢，运行效率低。

发明内容