[发明专利]基于时序预测的目标跟踪方法和装置

说明书

本发明提供了一种基于时序预测的目标跟踪方法和装置，该方法包括：采集得到包含目标的视频帧图片；采用多个并行的LSTM模块组成时序预测网络，在时序预测网络中输入t‑1时刻的目标的运动状态变化量得到t时刻的目标的运动状态变化量，再结合t‑1时刻的目标的运动状态量得到t时刻的目标的运动状态量的时序预测结果；空间预测模型基于t时刻的待检测区域通过卷积神经网络提取出t时刻的图片特征，将图片特征进行相关滤波定位处理，得到t时刻的目标的运动状态量的最终预测结果。本发明通过将目标的时序模型和目标的空间模型相结合，将时序模型的输出转化为空间模型的输入，使得空间模型的待检测区域更加准确，能够获得更加高效、准确的目标定位结果。

技术领域

本发明涉及图片处理技术领域，尤其涉及一种基于时序预测的目标跟踪方法和装置。

背景技术

随着智能信息技术的普遍发展，图像、视频媒体人工智能技术越来越贴近我们的日常生活，人脸身份验证、车牌进出识别、视频智能监控等都为我们带来了便利和安全。作为图像、视频媒体人工智能的重要研究方向之一，目标跟踪的主要任务是从一段视频中检测出某个或者某几个已知目标的准确位置。随着视频媒体任务的处理需求越来越大，目标跟踪算法受到越来越多的关注。

目标跟踪系统的模型大致包括两大模型，包含时序模型和空间模型。空间模型描述目标的外观信息，将外观信息通过目标跟踪算法转化成空间位置信息。时序模型用来描述目标空间位置信息在时间上变化的规律，预测目标在下一时刻可能出现的位置。从系统结构上来看，目标跟踪系统大致可以分为视频帧输入、目标跟踪和结果显示三个模块。视频帧输入模块用来读取视频数据，按帧送入目标跟踪模块。目标跟踪模块是系统的核心功能模块，用于在输入的视频帧中寻找已知外观的目标，获取该目标的具体位置和大小。结果显示模块将目标跟踪模块得到的目标具体位置和大小与图片帧相结合，合成带有标记框的视频帧图片输出给用户。对目标跟踪系统的性能评价主要在准确性和实时性两方面。评价准确性的主要指标包括平均重叠期望、准确率和鲁棒性。准确率主要评价跟踪结果和目标实际位置的像素差距，平均重叠期望主要评价跟踪结果和目标实际大小的区域面积差异。鲁棒性主要评价跟踪结果在跟踪失败后恢复正确跟踪的能力。目标跟踪系统的准确性受到诸多因素的影响。在给定的目标只有第一帧中的外观、位置信息的条件下，目标本身的形变、旋转、放缩都会影响目标跟踪模块的性能。此外，目标所处的环境也会存在光照变化、遮挡物等因素，影响目标跟踪模块的性能。视频拍摄过程中的模糊、拍摄角度变化也会成为目标跟踪不准确的原因。除了准确性，实时性在目标跟踪系统中也是非常重要的指标。对于跟踪结果的视频播放速率最低要求要在24FPS以上，才能满足实时性要求。而在实际应用中，目标跟踪算法由于复杂的建模、图片处理计算等问题，往往达不到实时的性能。