[发明专利]一种小型低飞目标视觉检测跟踪系统及其方法

权利要求书

1.一种小型低飞目标检测跟踪系统，其特征在于，包括：视频数据输入单元、视频预处理单元、训练数据构建单元、检测模型训练单元、目标比对筛选单元、检测校正单元、基准帧初始化单元、样本库动态构建单元、在线学习单元、位置精修单元、决策控制单元和跟踪结果输出单元；

所述视频数据输入单元用于：输入包含目标的若干视频序列，并随机分成两部分，一部分用于训练目标检测模型，一部分用于目标跟踪模型的在线测试；

所述视频预处理单元用于：根据目标检测和跟踪单元的需要完成前期视频预处理工作，具体包含删减掉长时间没有目标的视频片段，剔除明显不符合低空空域以缓慢时速飞行的小型目标特点的视频片段；

所述训练数据构建单元用于：保证训练数据的完备性和丰富性，采取等间隔抽取视频帧的方式构建训练集和验证集，并进行数据的标注，即确定图像中目标的中心位置、宽和高信息，用于有监督的训练目标检测模型；

所述检测模型训练单元用于：创建金字塔结构的目标检测网络，并使用焦点损失来缓解目标背景不平衡的问题；观测训练损失函数趋于稳定后停止训练过程，保存验证过程中性能最优的模型文件，用于在目标跟踪失败时提供重置框信息；

所述目标比对筛选单元用于：使用SURF特征匹配算法对所跟踪视频第一帧真值框和检测结果进行比对，剔除明显不是低慢小目标的虚警，进一步保障长时稳定跟踪的鲁棒性；

所述检测校正单元用于：当出现以下两种情况时启动检测校正单元，一是当跟踪框位置置信度低于设定阈值时，说明当前帧目标跟踪失败则启动检测校正单元；二是到达指定帧数间隔自动启动检测校正单元，保证当前正在跟踪目标与基准帧目标特征不会差距过大；

所述基准帧初始化单元用于：根据接收到的基准框目标位置和尺度信息，按目标尺寸的5倍大小裁剪出搜索区域，并经过图像放缩到指定大小288*288，将指定尺寸的搜索区域图像块和目标位置尺度信息输入到分类器动态构建样本库中；

所述样本库动态构建单元用于：对基准帧样本进行数据增强，包括旋转、缩放、抖动和模糊的基本操作，并接收在跟踪过程中新增的样本；

所述在线学习单元使用深度网络ResNet18网络对样本库中保存的样本进行特征提取，再经过两个全连接层之后获得预测高斯响应图，同时根据样本库中的标签信息以目标中心为高斯分布的峰值点生成真值高斯标签，以缩小预测高斯响应图和真值高斯标签间的差距为优化目标在线调整两个全连接层的参数，达到在没有标签的情况下通过特征提取网络和全连接层实现预测高斯响应图和获得预测目标位置中心的目的；

所述位置精修单元用于：对在线学习单元获得的初始跟踪结果进行位置精修，以当前帧在线学习单元获得的预测目标位置中心和上一帧得到的目标尺度宽高为参考，获得若干抖动框，并映射到当前帧搜索区域上使用精准感兴趣区域池化层进行抖动框的特征提取，和由基准帧获得的调制特征进行拼接最后经过全连接层得到各个抖动框的预测位置置信度，将置信度最高的3个抖动框的结果进行合并，即为精修后当前帧的跟踪结果；

所述决策控制单元用于：在跟踪过程中通过跟踪框的预测位置置信度与设定阈值关系来判断目标跟踪状态，如果目标被稳定跟踪，则继续进行下一帧的跟踪，如果已经跟丢，则激活检测校正单元进行当前帧的目标检测，并更新基准帧，以实现低慢小目标的长时稳定跟踪；

所述跟踪结果输出单元用于：在遍历完视频所有帧后，输出各帧位置和尺度信息。

2.根据权利要求1所述的一种小型低飞目标检测跟踪系统的检测跟踪方法，其特征在于，包括如下步骤：

步骤1，目标检测网络构建；

1)构建网络结构，包括：主干网络、分类子网和回归子网；

2)损失函数，使用焦点损失解决目标检测中正负样本比例严重失衡的问题，降低简单负样本在训练中所占的权重；

步骤2，目标比对筛选；

在送入检测校正单元之前，先进行一次SURF特征点匹配，将当前视频的的第一帧目标与检测结果进行特征匹配，当匹配点数大于设定值时，说明检测结果确实是当前需要跟踪的目标，说明检测成功，此时将检测框送入检测校正单元，进行后续过程；

步骤3，目标跟踪在线学习；

预测目标中心位置，包含初始化分类器和在线分类过程两部分：

1)初始化分类器

对样本库中经过数据增强的基准帧，利用特征提取网络提取特征，同时以基准帧目标中心位置为峰值生成与特征图相同大小的二维高斯真值标签y_gt，根据特征和标签初始化分类器，用最小二乘优化算法尽量缩小实际值和真实值之间的距离，并用高斯牛顿迭代法求解非线性最小二乘问题；公式如下：

在(1)式中，x∈{1，…，M}表示基准帧目标中心点的水平方向坐标，M为特征图的宽；y∈{1，…，N}表示基准帧目标中心点的竖直方向坐标，N为特征图的高；σ为高斯带宽；

2)在线分类过程

根据前一帧(第t-1帧)跟踪结果(x_t-1，y_t-1，w_t-1，h_t-1)，其中，(x_t-1，y_t-1)为估计目标的中心坐标，(w_t-1，h_t-1)为估计目标的宽和高，以前一帧目标中心位置为当前帧(第t帧)目标搜索区域中心，按指定比例k扩展宽、高，生成当前帧搜索区域(x_t-1，y_t-1，k*w_t-1，k*h_t-1)；然后，使用特征提取网络提取搜索区域的特征f_t，经过两个全连接层后生成与搜索区域尺寸一致的预测高斯响应图表示全连接层的映射函数；weight₁，weight₂表示全连接层的权重系数矩阵，最大响应位置即为当前帧估计的目标中心坐标(x_t，y_t)；在线训练分类器充分考虑被跟踪目标和背景区域，期间不断的更新分类器来估计目标的位置；

步骤4，动态构建分类器训练样本库

1)设置基准帧更新间隔为T，满足当前帧数t能被T整除时调用目标检测单元更新基准帧，清除样本库中的所有过时样本，使用更新后的基准帧重新初始化分类器，同时随着跟踪过程的进行将新产生的样本依次添加到样本库中，目的在于使样本库中目标的特征与当前正在跟踪的样本相似性高，利于精准估计出目标的中心位置；

2)当跟踪框的预测位置置信度小于设定阈值时，说明当前帧目标跟踪失败，由决策控制单元向检测校正单元发送需要重新初始化基准帧的信息，检测校正单元收到目标检测单元的检测框信息之后，将信息送入基准帧初始化单元，进行数据增强操作，并最终送入动态构建的样本库中；

步骤5，目标跟踪位置精修；

包括特征提取网络和相似度评估网络两部分：

1)特征提取网络

特征提取使用ResNet18网络，平衡保留先前模板信息与更新当前基准帧信息，为神经网络提供结合目标当前与历史状态的特征，提升跟踪的稳定性，对基准帧、当前帧、基准帧与当前帧中间时刻的图像帧三部分均提取搜索区域特征，并分别送入精准感兴趣区域池化层中，用于相似度评估网络计算预测位置置信度；

2)相似度评估网络

相似度评估网络的核心是精准感兴趣区域池化层，其输入包含两部分，第一部分是对网络提取的图像特征图进行插值系数为IC的双线性插值

IC(x，y，i，j)＝max(0，1-|x-i|)×max(0，1-|y-j|) (2)

将离散的特征图映射到一个连续空间并得到特征图f(x，y)

在式(2)和式(3)中，(x，y)为特征图中心坐标，(i，j)为特征图上的坐标索引，w_i，j为特征图上位置(i，j)对应的权值；输入的第二部分是矩形框的左上角坐标(x₂，x₁)和右下角坐标(y₂，y₁)；根据得到的连续空间特征图和矩形框的坐标进行精准感兴趣区域池化操作，最大限度的保留图像上的目标特征，为进一步比对参考目标和历史帧目标相似性作准备；最终对特征图f(x，y)进行双重积分并除以矩形框面积，得到的精准感兴趣区域池化(PrROI Pooling)

得到精准感兴趣区域池化层的特征后，将基准帧、中间帧和当前帧的三个特征进行拼接，输入到全连接层中输出最终的位置置信度；对比候选目标和历史目标的相似程度，找到最大相似目标作为跟踪结果。