[发明专利]基于双流卷积神经网络的目标跟踪方法、系统、设备及介质

说明书

本发明公开了一种基于双流卷积神经网络的目标跟踪方法、系统、设备及介质，所述方法包括：构建空间流二维卷积神经网络，提取当前帧中图像块的特征信息；构建时序流三维卷积神经网络，提取一定时序范围内的视频序列中帧与帧之间目标的运动变化特征信息；加性融合空间流二维卷积神经网络和时序流三维卷积神经网络的特征信息；根据融合的特征信息，构建全连接子网络，提取符合要求的图像块；对符合要求的图像块的边界框进行边界框回归，得到当前帧目标的预测位置和大小；在对目标跟踪前，对空间流二维卷积神经网络和时序流三维卷积神经网络进行线下训练；在对目标跟踪过程中，对全连接子网络进行线上精调。本发明达到了很好的跟踪效果。

技术领域

本发明涉及一种目标跟踪方法，尤其是一种基于双流卷积神经网络的目标跟踪方法、系统、计算机设备及存储介质，属于计算机视觉的目标跟踪领域。

背景技术

视觉目标(单目标)跟踪任务是计算机视觉领域一直以来研究的热点，有着广泛应用，尤其是近年来科技生产力的高速发展，视频监控、无人机飞行、自动驾驶等等领域亟待优秀的目标跟踪算法。

视觉目标跟踪任务描述的是在给定的视频序列场景下，只提供目标在第一帧中的位置，然后通过算法预测该目标接下来的位置和大小。尽管近年来涌现了一大批算法，但是依然没有较好的解决该任务，因其存在很大的挑战性，尤其是目标外观变形、尺度变化、物体遮挡、像素模糊、背景复杂等等。

现有的目标跟踪算法根据观测模型可以分为生成式模型和判别式模型，即生成式方法和判别式方法。生成式方法是试图通过找到可以代表跟踪目标的最佳位置，例如基于贝叶斯网络推断模型的增量PCA法、基于外观模型的编码表示、卡尔曼滤波等。近年来主流的算法为判别式方法，主要分为相关滤波方法和深度学习方法两大类。相关滤波法起源于数字信号处理领域，其核心在于用相关性表示两个信号之间的相似程度，这里通常用卷积作为相关运算。相关滤波法基本思想是寻找一个滤波模板，通过这个滤波模板作用于下一帧的图像中产生得到最大响应区域，则该区域可以表征目标所在位置，例如著名的科罗拉多州立大学David S.Bolme发明的MOSSE算法、科英布拉大学系统与机器人研究所发明的CSK等算法。近年来由于循环矩阵的引入，使得算法主要运用矩阵运算，使得相关滤波法效率有了很大的提升，特别是开山之作，科英布拉大学 F.Henriques等人发明的KCF算法，利用循环矩阵在傅里叶空间可对角化的性质将矩阵的运算转化为向量的Hadamad积，即元素的点乘，大大降低了运算量，跟踪速度惊人，平均每秒达到172帧。但是相关滤波方法的致命缺点是对目标位置和大小的精度把握不足，即与真实目标的区域重叠度较差。而基于深度学习的方法，因其可以通过使用神经网络很好的提取目标图像的特征，在近年来大放异彩，其优点是比相关滤波法预测目标的位置和大小精度高得多。其主要思想是通过机器学习的方法训练一个前景和背景的分类器，当前帧以目标区域为正样本，背景区域为负样本，然后用训练好的分类器在下一帧中找最优区域，比较著名的有英国萨里大学的一个捷克籍博士生Zdenek Kalal发明的TLD跟踪算法、韩国POSTECH团队发明的TCNN、CNN-SVM跟踪算法、美国斯坦福大学Held等人发明的GOTURN，等等方法。基于深度学习的方法缺点是因为目标跟踪任务的特殊性，只提供第一帧图片的标签数据，缺乏大量数据来训练神经网络，一般做法是在大规模分类图像数据集训练的模型迁移到目标跟踪来，也就是一种基于区域的目标检测方法，没有充分视频的时序性，没有把握跟踪目标帧间的运动信息。

发明内容

本发明的第一个目的是为了解决上述现有技术的缺陷，提供了一种基于双流卷积神经网络的目标跟踪方法，该方法引入了三维神经网络，首次将二维和三维卷积神经网络结合应用于目标跟踪任务，充分利用了视频的时序性，提取目标在视频帧间的运动变化信息，提高目标定位的精准性，达到了很好的跟踪效果。

本发明的第二个目的在于提供一种基于双流卷积神经网络的目标跟踪系统。

本发明的第三个目的在于提供一种计算机设备。

本发明的第四个目的在于提供一种存储介质。