[发明专利]一种基于时空信息与深度网络的监控视频对象检测方法

说明书

本发明公开了一种基于时空信息与深度网络的监控视频对象检测方法，包括收集、标注数据集，训练深度卷积神经网络；利用训练好的深度神经卷积网络提取鲁棒的多尺度深度特征；在多尺度深度特征上提取运动目标候选区域；根据视频前后帧检测结果预测下一帧目标出现的位置；针对运动目标候选区域和预测候选区域进行RoI归一化并对特征向量进行分类和回归得到初步检测结果；利用运动和预测信息，对得到的初步结果进行微调，进一步精准检测结果。本发明综合考虑了视频中所包含的丰富的时空信息，利用运动和预测大大减少了冗余的候选框，并且解决了单帧检测结果不稳定的问题，与其他基于区域的目标检测检测方法相比，在时间和检测精准度上都有了一定的提升。

技术领域

本发明属于计算机数字图像处理与模式识别技术领域，特别涉及一种基于时空信息与深度网络的监控视频对象检测方法。

背景技术

如今，城市中的大量摄像头可用于捕获重要区域不间断的视觉监控信息。其为城市的信息化、城市智能交通以及城市安防等起到重要作用。据IMS Research统计，2016年城市监控摄像头出货量达13800万件，每天产生的监控视频数量就达上千PB。目前，监控视频业务步入数据的喷井时代，比如深圳市目前摄像头超134万个，目前深圳市利用摄像头破案已占刑事案件破案总数的50％。如今智能监控系统被广泛应用于各类公共场所，交通监管系统，如何对海量的监控视频进行智能分析，面临着巨大挑战。

监控视频中有用的信息主要是其中的运动目标(主要包括人、车)，然而监控视频的信息量巨大，如何从大量的城市监控视频中快速查询到感兴趣的目标是一个急需解决的问题。而目标检测作为检索的前提发挥着重要的作用。目前，在发生重大事件后，公安人员往往采用人工观看视频、手动查找的方式进行目标的定位搜索。因此，如何避免花费大量的人力手工筛选成为一个亟待解决的问题。除此之外，由于光线、距离、遮挡、复杂背景等因素的影响，传统方法在检测时间和性能上已经不能满足日益增长的需求。

发明内容

本发明的目的是提供一种基于时空信息与深度网络的监控视频对象检测方法，对于监控视频检测出需要的人、车等目标，利用监控视频中丰富的时空信息，精准定位候选区域可能出现的位置，减少候选区域的个数。并且利用深度神经卷积网路，获取鲁棒的多尺度的深度神经卷积特征。本发明方法在减少计算量的同时，大大提高了检测的精准度。

为了实现上述目的，本发明采用如下技术方案：

本发明提供一种基于时空信息与深度网络的监控视频对象检测方法，包括以下步骤：

步骤1：采集监控视频数据，标注监控数据和测试集，并利用训练集训练深度卷积神经网络；

步骤2：对于测试集，利用训练好的深度卷积神经网络框架提取鲁棒的多尺度深度特征；

步骤3：在多尺度深度特征图上提取运动目标候选区域；

步骤4：根据视频前两帧检测结果预测下一帧目标出现的位置；

步骤5：对提取到的运动和预测候选区域进行RoI归一化及分类回归；

步骤6：利用运动与预测信息，对初始检测结果进行微调，进一步精准检测结果。

进一步的，步骤1中收集、标注数据集并训练深度卷积神经网络：利用PASCALVOC0712数据集并且增加收集的部分监控视频数据集用于训练深度神经网；将数据集整合并做成PASCAL VOC的格式；训练的时候主要的步骤包括数据增强转换、分批输入前向传播、计算损失函数、反向传播修改权重、迭代。