[发明专利]基于模板匹配和深度分类网络的运动目标跟踪方法

说明书

本发明公开了一种基于模板匹配和深度分类网络的运动目标跟踪方法，主要解决现有技术目标检测速度慢，及在目标发生外观形变、遮挡时跟踪不准确的问题。其实现方案为：1)搭建双残差深度分类网络，并对其进行训练；2)在双残差深度分类网络中提取模板网络和检测网络；3)利用模板网络提取模板特征；4)利用检测网络提取检测特征；5)将模板特征在检测特征上进行模板匹配，得到模板匹配图；6)根据模板匹配图确定目标位置；7)根据目标位置更新模板特征；8)判断当前帧是否为最后一帧，若是，结束目标跟踪，否则，将更新后的模板特征作为下一帧的模板特征，返回4)。本发明跟踪速度快，准确率高，用于对剧烈形变、光照变化视频目标跟踪。

技术领域

本发明属于图像处理技术领域，更进一步涉及一种运动目标跟踪方法，可用于对剧烈形变、镜头抖动、尺度变化、光照变化等这些类型的视频目标跟踪。

背景技术

运动目标跟踪的主要任务要求在仅知道待跟踪目标初始帧信息的情况下学习到一个跟踪器，使得跟踪器可以准确预测待跟踪目标在视频序列中下一帧的位置。随着人们对计算机视觉领域的不断深入认识，运动目标跟踪在该领域得到广泛应用和发展，由于深度学习在图像分类、图像分割领域的不断应用，深度学习方法也逐渐被应用到目标跟踪领域。相较于传统跟踪方法中过于依赖设计者的先验知识的手动提取特征方法，深度学习方法可以利用大数据的优势，通过大量数据的训练，神经网络能够自动学习特征，目前已经存在大量的跟踪算法来实现运动目标跟踪。但是，由于遮挡、背景杂乱、外观形变、光照变化、视角变化等客观因素的影响，使得准确地跟踪目标仍然面临极大挑战。

南京航空航天大学在其申请的专利文献“一种抗遮挡的目标跟踪方法”(专利申请号 201610818828.7，公开号106408591A)中公开了一种基于检测、跟踪与学习的目标跟踪方法。该方法实现的具体步骤是，首先，根据初始的图像帧，确定目标的区域，跟踪器通过该目标区域形成初始目标模板；其次，初始化级联检测器参数；接着，加入遮挡的检测机制，并实时更新阈值；然后，分别计算跟踪器和检测器对目标的跟踪置信度和检测置信度；最后，根据置信度整合跟踪结果，如跟踪器跟踪失败，用检测结果初始化，跟踪结果通过学习模块，对检测器相应参数更新。该方法存在的不足之处是，利用目标模板和背景模板的加权结果作为置信度值，未能反映待跟踪目标响应的波动情况，训练得到的分类器识别能力不够强，当目标发生强烈光照变化、目标快速运动时无法实现长期准确地跟踪。

华南农业大学在其申请的专利文献“基于局部特征学习的目标跟踪方法”(专利申请号 201610024953.0，公开号108038435A)中公开一种利用局部特征学习对运动目标的跟踪方法。该方法实现的具体步骤是，(1)将目标区域和背景区域分解成大量局部单元，采用深度学习的方式训练、构建表观模型；(2)计算下一帧图像每个局部区域属于目标的置信度，得到用于目标定位的置信度图；(3)设定阀值T_pos和T_neg，将阀值大于T_pos的局部区域加入目标样本集，将阀值小于T_neg的局部区域加入背景样本集，更新表观模型。该方法存在的不足之处是，需要通过设定阀值判断图像各个局部区域的样本类型，当待跟踪目标产生较大程度遮挡时，会将目标样本或背景样本错分，导致更新后的模型无法继续准确跟踪目标。

发明内容

本发明的目的是针对上述现有技术的不足，提出一种基于模板匹配和深度分类网络的运动目标跟踪方法，以在目标产生形变、尺度变化或遮挡的情况下，实现对目标的准确、有效跟踪。

实现本发明目的技术方案是，首先，针对训练样本不足的问题，选取线下训练的训练机制；其次，利用Resnet 50构建模板网络和检测网络，利用模板网络进行模板图像的特征提取，利用检测网络进行待检测图像的特征提取；最后，将提取的模板特征与检测模板提取的特征进行匹配，确定目标所在位置，其具体步骤包括如下：

(1)搭建双残差深度分类网络模型：