[发明专利]一种基于显著性特征提取的视频行为识别方法

权利要求书

1.一种基于显著性特征提取的视频行为识别方法，其特征在于，包括：

S1，获取待识别视频，并将所述待识别视频转化为图像；

S2，对图像进行显著性特征提取，去除图像中的背景信息；

所述步骤S2包括：

S21，将图像输入Res2Net主干网络，图像经过Res2Net主干网络中的每一层时，图像特征将被分为显著性特征、边沿特征，最终Res2Net主干网络输出显著性特征S0和边沿特征E0；

S22，显著性特征S0和边沿特征E0在CRU单元中作为监督信号交替训练，生成显著性特征S、边沿特征E；

S23，在非对称交叉模块中，显著性特征S与显著性标签Label-S做损失，边缘特征E与边沿标签Label-E做损失，同时从显著性特征S提取边沿特征e，并将边沿特征e与显著性标签的边沿做损失；

所述CRU单元为首尾相连堆叠的4个CRU结构单元，在步骤S22中所述CRU单元的叠加操作的公式定义为：

其中，

其中表示Res2Net第i层的特征经过n个CRU结构单元之后的生成边沿特征，表示Res2Net中第i层的特征经过n个CRU结构单元之后的生成显著性特征，表示点乘；

S3，对图像进行行为识别；

S4，输出识别出的异常行为。

2.根据权利要求1所述的基于显著性特征提取的视频行为识别方法，其特征在于，步骤21包括：

浅层图像特征首先经过1×1的卷积核，然后经过将具有n个通道的特征图分为4组的卷积核组，前一组的输出特征与另一组输入特征映射一起发送到下一组3×3的卷积核，此过程重复两次，直到处理完所有输入特征映射；最后，将来自4组的特征映射连接起来，经过1×1的卷积核将信息融合在一起，得到多尺度特征。

3.根据权利要求1所述的基于显著性特征提取的视频行为识别方法，其特征在于，步骤S23的实现如公式为：

G_x(x,y)＝f(x,y)*g_x(x,y)                     (5)

G_y(x,y)＝f(x,y)*g_y(x,y)                     (6)

G＝F(G_x(x,y),G_y(x,y))                     (7)

式(7)中函数F考虑了垂直方向的边沿特征和水平方向的边沿特征，根据式(8)或者(9)融合水平方向和垂直方向这两部分的特征；

F(G_x(x,y),G_y(x,y))＝G_x(x,y)+G_y(x,y)                  (9)

在二值图像经过公式(7)之后得到边缘特征图；损失函数使用的是二进制交叉熵损失，所述二进制交叉熵损失为：

其中p(x_i)为真值,q(x_i)为估计值。

4.根据权利要求1所述的基于显著性特征提取的视频行为识别方法，其特征在于，步骤S3包括：采用基于C3D网络结构的行为识别算法对图像进行行为识别；C3D网络结构的网络框架由R(2+1)D卷积模块组成的8个卷积层，5个最大池化层以及2个全连接层，在网络结构中添加ReLu、BatchNormal、Droupout技术优化网络结构；

模型使用随机梯度下降法，初始学习率为0.003；总共迭代100次，学习速率每迭代20次乘以0.1使模型收敛；两个全连接层有4096个输出，最后由softmax分类层实现分类。