[发明专利]一种基于时空信息与深度网络的监控视频对象检测方法

权利要求书

1.一种基于时空信息与深度网络的监控视频对象检测方法，其特征在于，包括以下步骤：

步骤1：采集监控视频数据，标注训练集和测试集，并利用训练集训练深度卷积神经网络；

步骤2：对于测试集，利用训练好的深度卷积神经网络框架提取鲁棒的多尺度深度特征；

步骤3：在多尺度深度特征图上提取运动目标候选区域；

步骤4：根据视频前两帧检测结果预测下一帧目标将出现的位置；

步骤5：对提取到的运动和预测候选区域进行RoI归一化及分类回归，得到初步检测结果；

步骤6：利用运动与预测信息，对初始检测结果进行微调，进一步精准检测结果；

步骤3中，利用视频中丰富的运动信息在多尺度深度特征上提取运动目标候选区域，其中包括：粗略运动目标区域提取和运动目标初始候选区域调整分析；粗略运动目标区域提取包含以下步骤：

1)对相邻两帧之间对应卷积层的特征图进行帧差，获取不同尺度的特征图上的运动部分:

表示视频第n帧利用第k层卷积层提取的深度特征，其中i表示卷积层的通道数；

2)将同层不同通道的进行融合并且归一化：

其中m表示第k层通道的个数；

3)进一步利用形态学滤波方法来减少噪声，增强运动区域，具体步骤是：

a.利用最大类间差分法区分前景和背景；

b.利用中值滤波和下采样来滤除独立的噪声点；

c.膨胀运动区域加强运动目标；

d.上采样恢复图像原本的大小；

e.提取运动区域的边缘，并且用框出；

f.将不同尺度的特征图上的运动区域等比例映射回原图得到运动目标初始候选区域；

针对运动目标初始候选区域调整分析，包括以下步骤：

1)对于每个运动目标初始候选框改变大小，长宽比和框的中心位置，得到转换后的运动区域候选框；即采用1，0.41，2三个不同的长宽比，0.5，1，2倍三个不同的目标面积，以及以左上坐标、目标中心、右下坐标为基准调整框的位置，得到27个调整后的框；

2)将调整后的候选框从原图等比例的映射到最后一个卷积层产生的特征图；

3)利用max pooling将映射得到的特征块归一化到同一大小：

4)利用全连接层对归一化后的特征块提取全局特征，得到4096维的特征向量；

5)将得到的特征向量送进分类层，得到前后背景的置信度；

6)利用非极大值抑制滤除冗余的候选框。

2.如权利要求1所述的一种基于时空信息与深度网络的监控视频对象检测方法，其特征在于，步骤1中，采集不同场景和不同姿态角度的行人、车辆监控视频数据集，一部分标注制作成训练集，一部分作为测试集；采用训练集对设计的深度卷积神经网络进行训练；训练深度卷积神经网络分为行人、车辆、背景三个类别。

3.如权利要求1所述的一种基于时空信息与深度网络的监控视频对象检测方法，其特征在于，步骤2中利用训练好的深度卷积神经网络框架提取鲁棒的多尺度深度特征：利用VGG16或者PVANET提取特征的部分进行前向传播提取深度特征；在进行了3～4次卷积之后进行一次采样操作；经过若干次的采样，获取多尺度特征图。