[发明专利]一种基于RefineNet神经网络和稀疏光流的目标跟踪方法

说明书

本发明提出一种基于RefineNet神经网络和稀疏光流的目标跟踪方法。该方法不再使用手工特征，或浅层网络输出具有的空间信息的深度特征，亦或深层网络输出具有强判别能力的深度特征，而是改用RefineNet神经网络进行深度特征提取，将浅层网络输出具有的空间信息的深度特征和深层网络输出具有强判别能力的深度特征进行融合，在融合后的深度特征的基础上，进行跟踪目标中心位置的跟踪。而对于目标区域的变化，该方法利用稀疏光流对跟踪目标区域长和宽不同的变化分别进行处理，使得该方法能够应对长宽比变化的目标尺度变化，从而解决了目前目标跟踪算法不能很好地应对长宽比变化的目标尺度变化问题。该方法是一种鲁棒性跟踪算法，能在不同跟踪场景中取得不错的效果。

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于RefineNet神经网络和稀疏光流的目标跟踪方法。

背景技术

目标跟踪由于其在行为分析、车辆导航、人机交互、医学成像、视频监控等众多领域都有着广阔的应用，从而成为计算机视觉技术最活跃的研究之一。目标跟踪是指在给定视频第一帧中的目标位置，对之后的每一帧进行目标定位。目标跟踪的核心问题紧跟随着时间不断变化的目标。尽管近年来在国内外学者的不断研究下，目标跟踪算法得到了迅速发展，但在光照变化剧烈、目标快速运动、部分遮挡等情况下仍然无法取得很好效果。

近年来，国内外学者提出了多种跟踪算法，主要可以分成两类：一类是基于对于目标本身进行描述和刻画的生成式模型；另一类旨在将目标和背景分离开的判别式模型。生成式模型重点在于建立目标外观模型的表征，虽然构建有效的外观模型以处理跟踪中的各种具有挑战性的情况至关重要，但是与此同时，也会增加很大的计算复杂度，并且还会丢弃了可用于更好地将对象与背景分离的目标区域周围的有用信息，例如词典学习算法、稀疏编码算法、PCA等；判别式模型将跟踪问题转换为目标和背景的二分类问题，即把跟踪的目标作为前景，利用在线学习或离线训练的判断器来区分前景目标和背景，从而得到前景目标的位置。在进行判断前往往会进行特征提取，以作为判断依据提高判断的精确度，但是这也会导致有大量的候选样本需要进行特征提取，使得难以达到实时性，例如Struck、MIL等算法。生成式模型着眼于对目标本身的刻画，忽略背景信息，在目标自身变化剧烈或者被遮挡时容易产生漂移。判别式模型通过训练分类器来区分目标和背景(即从背景中区分目标)。判别式方法因为显著区分背景和前景的信息，表现更为鲁棒，在目标跟踪领域占据主流地位。

但是，对于跟踪算法而言，最重要的两个指标是实时性与精确度。由于传统判别式跟踪算法在进行判断前往往会进行特征提取，以作为判断依据提高判断的精确度，但也会导致有大量的候选样本需要进行特征提取，从而很难达到实时性。

为了解决这一问题，2010年MOSSE算法将相关滤波引入到目标跟踪中，从而使得跟踪算法速度达到高速状态。相关滤波是一种传统的信号处理方法，其描述了两个样本之间的相似程度。但是由于MOSSE算法采用的是随机采样，从而导致正负训练数目不足而使得精度较低。2012年CSK算法基于MOSSE算法通过建立循环位移的结构将目标进行稠密采样，以此增加正负样本的数目，以此解决目标跟踪之中训练样本不足的问题。除此之外，通过对于这些样本进行循环位移的处理，将对目标样本的计算转化到频率域中的求解，通过使用快速傅里叶变换的方法，大大地提高目标跟踪的效率。然而CSK算法采用的是单通道灰度特征，在特征表征上不够鲁棒。针对以上问题，2015年CN算法改用多通道的颜色特征，KCF算法改用多通道HOG特征，使得精度得到提高。