[发明专利]一种基于红外及可见光下的多尺度目标检测方法

说明书

本发明公开了一种基于红外及可见光下的多尺度目标检测方法，采集红外图像和可见光图像样本，进行标定及数据增强处理，形成训练样本，构建并采用训练样本训练目标检测网络模型，然后将待检测的红外图像或可见光图像，利用训练好的目标检测网络模型进行检测，输出检测结果。本发明利用红外及可见光图像不同的特性，并通过设计一种多尺度的目标检测网络结构及数据增广及训练策略，可以大大提升目标检测技术对复杂场景及小目标的检测精度和准确率。

技术领域

本申请属于计算机视觉技术领域，尤其涉及一种基于红外及可见光下的多尺度目标检测方法。

背景技术

目标检测是计算机视觉领域的一个重要研究方向，广泛应用于多个领域，如安防监控、医疗图像分析和自动驾驶等。随着近些年深度学习的快速发展，目标检测技术也取得了重大突破，例如Faster RCNN及YOLO系列等算法出现，使目标检测结果的精度大大提升。然而，虽然这些算法技术在通用目标检测上取得了较好的效果，但是在复杂的真实应用场景中，目标的尺寸往往是较小的，且会伴随光照剧烈变化、目标遮挡和目标尺度变化等因素影响，现有的算法模型的检测率会大大降低，且虚警率会升高。

目前随着红外技术发展，集成红外和可见光的图像采集设备越来越普及，基于红外和可见光的目标检测技术，可以利用红外图像对天气和背景的适应性较好、夜间可视等能力，在弥补可见光图像易受外界环境干扰的同时也可实现对夜间目标的检测。

虽然目前一些技术方案采用LSTM方法对深度残差卷积神经网络最后一层的输出的特征图进行两次上下左右四个方向获取上下文信息，与卷积特征融合得到多尺度特征用于目标检测，提升了目标检测精度。但现有技术并未利用红外及可见光图像两种数据，而且在网络结构方面还有进一步提升的空间。

发明内容

本申请的目的是提供一种基于红外及可见光下的多尺度目标检测方法，利用红外及可见光图像两种数据，结合两种图像不同特性，提升目标检测技术对复杂场景的适应性，同时对网络结构进行针对性设计提升算法模型对小目标的检测能力。

为了实现上述目的，本申请技术方案如下：

一种基于红外及可见光下的多尺度目标检测方法，包括：

采集红外图像和可见光图像样本，进行标定及数据增强处理，形成训练样本；

构建并采用训练样本训练目标检测网络模型，所述目标检测网络模型在YOLOV3的基础上，在YOLOV3基础特征网络Darknet-53中的8倍降采样和16倍降采样层中顶层的卷积层前，分别加入1组RFB结构；对于 YOLOV3的三个尺度的输出分支y1、y2和y3，去除原YOLOV3网络y1 和y2分支预测层中采用的上采样操作；在4倍下采样的特征图中通过加入步长为2的Gbneck模块进行降采样后与8倍下采样进行Concat叠加，然后再通过步长为1的Gbneck模块进行通道数的缩放，作为y3分支的最终输出；同时采用步长为2的Gbneck模块分别对y3和y2分支输出前的特征图进行降采样，后依次与原有的16倍降采样和32倍降采样进行Concat连接，之后采用步长为1的Gbneck模块进行通道的缩放，分别作为y2与y1分支的最终输出；

将待检测的红外图像或可见光图像，利用训练好的目标检测网络模型进行检测，输出检测结果。

进一步的，所述数据增强处理，包括：

对单样本训练数据采用同类增强方式进行处理；

对多样本训练数据采用混类增强方式进行处理，通过基于邻域风险最小化原则来线性插值得到新样本数据。

进一步的，所述RFB结构，执行如下操作：

RFB结构首先通过1×1卷积、1×3卷积和3×3卷积对上层输入进行特征提取和通道压缩，并通过3×3的膨胀卷积扩大特征图尺寸，然后将不同分支输出进行叠加，经过1×1卷积层后与输入特征图相加，最后经过Relu激活层后作为RFB的输出。