[发明专利]基于全连接网络和卡尔曼滤波器的飞机追踪方法

说明书

本发明涉及一种基于全连接网络和卡尔曼滤波器的飞机追踪方法，包括下列步骤：利用全连接网络R‑FCN对视频逐帧进行检测，获得前一帧图像的bounding box，以供轨迹校正使用；构建状态向量，描述飞机运动轨迹，状态向量既要表示出目标飞机中心点的位置，又要展示出bounding box的大小和纵横比；将卡尔曼滤波器和扩展卡尔曼滤波器相结合，从构建的状态向量中分离出子向量来描述运动目标；当检测结果偏差较大时，根据目标对象的大小限制出有效范围来提高检测速度，纠正相邻帧中bounding box的位置，从而实现对运动轨迹的校正。

技术领域

本发明属计算机视觉领域，涉及视频中飞机的深度学习追踪方法。

背景技术

飞机跟踪是航空安全等领域的一项重要技术，在军事侦察中引入科技手段来加强安全措施也逐渐受到国家重视。目标跟踪作为计算机视觉中的一个重要领域，可以实现对获取的视频影像中的飞机进行检查乃至跟踪的功能。

近年来，随着深度学习的发展，机器学习算法逐渐应用到各种视觉领域，基于深度学习的目标检测和跟踪技术也得到了迅速发展。与传统方法相比，其追踪性能得到了很大提高。流行的物体检测策略，包括区域建议和区域分步两类。然而，飞机跟踪的准确性主要受复杂环境条件的影响，视觉跟踪算法仍存在一些挑战性的问题，如突发性运动、姿态变化、变形、遮挡、背景杂波、光照或视点变化等都会导致跟踪的准确度降低，甚至导致跟踪失败。目前尚无有效的算法来解决飞机追踪的问题。

发明内容

本发明的目的在于建立一种更为准确的飞机追踪方法。本发明提出的飞机追踪方法，包括以R-FCN为基础的检测模型，基于卡尔曼滤波器的状态估计模型，飞机运动轨迹纠正模块三个主要部分。技术方案如下：

一种基于全连接网络和卡尔曼滤波器的飞机追踪方法，包括下列步骤：

第一步：利用全连接网络R-FCN对视频逐帧进行检测，获得前一帧图像的boundingbox，以供轨迹校正使用；

第二步：构建状态向量，描述飞机运动轨迹，状态向量既要表示出目标飞机中心点的位置，又要展示出bounding box的大小和纵横比；

第三步：为了避免目标检测在某一帧上检测失败导致的目标漂移，将卡尔曼滤波器和扩展卡尔曼滤波器相结合，从构建的状态向量中分离出子向量来描述运动目标；具体方法如下：

(1)卡尔曼滤波器处理线性部分：状态向量中表示飞机中心点位置的子向量由线性模型近似，然后由预测结果和当前观测结果的不确定性计算卡尔曼增益，对预测结果和观测结果做加权平均，得到当前时刻的状态估计和本次状态估计的不确定性；

(2)扩展卡尔曼滤波器用于对不适于线性模型的非线性部分进行拟合：以和(1)中相同的方式创建可以表示bounding box大小和纵横比的状态子向量，但涉及到的状态矩阵和映射矩阵不再是常数矩阵，得到非线性部分在当前时刻的状态估计和本次状态估计的不确定性；

(3)将非线性部分加入线性系统中，描述飞机的运动状态；

第四步：当检测结果偏差较大时，根据目标对象的大小限制出有效范围来提高检测速度，纠正相邻帧中bounding box的位置，从而实现对运动轨迹的校正，若bounding box与飞机所在窗口的重叠度IOU值大于预先定义好的阈值T，则根据前一帧的bounding box修改当前检测框的位置和大小；否则便将此目标作为中心，划出bounding box输入检测网络进行训练，校正公式如下：