[发明专利]一种基于显著性特征提取的视频行为识别方法

说明书

本发明涉及一种基于显著性特征提取的视频行为识别方法，该方法包括S1，获取待识别视频，并将所述待识别视频转化为图像；S2，对图像进行显著性特征提取，去除图像中的背景信息；S3，对图像进行行为识别；S4，输出识别出的异常行为。本发明首次结合了显著性目标检测方法和行为识别方法，一方面提取了视频中的感兴趣区域，保留主要特征，屏蔽背景特征，另一方面也减少了运算量，此方法能够有利于异常行为的检测和识别。

技术领域

本发明涉及智能视频监控技术领域，特别是涉及一种基于显著性特征提取的视频行为识别方法。

背景技术

随着经济的发展以及法律体系的完善，人们更加关注预防生命和财产安全的犯罪行为。视频监控系统开始应用于人们生活，如日常生活中的防盗，密集人群中预防恐怖事件等等。

目前行为识别方法主要有两种：基于传统特征提取的方法和基于深度学习的方法。基于传统提取特征的方法通过提取视频中的光流直方图(HOF)、梯度直方图(HOG)和运动边界直方图(MBH)等多种特征对行为进行分类。但是识别能力容易受到光照强度、背景信息的影响，其提取的特征存在一定的局限性，不具有良好的识别能力。

随着时代的发展，研究者们提出了深度学习，鉴于基于深度学习能够有效的完成在视觉和听觉等研究领域的任务，因此市场上开始使用将基于深度学习的方法运用到现实生活。视频监控就是其中一种。在深度学习理论的基础上研究者们构建良好的网络模型，通过带有标记的视频对数据集进行训练，得到具有识别能力的模型。该模型具有较好的泛化能力，能够对未经过训练的视频数据进行分类。当前的做法直接将视频输入到神经网络，未对视频数据进行处理，或者仅对视频做出了曝光、畸变处理，但是没有突出视频携带的特征信息，这不利于异常行为的检测。在真实的复杂背景情况下，可能导致无法识别异常行为。且现有的基于深度学习网络模型的训练需要大量的数据集，以及高性能服务器的，这对实际视频识别工作带来了很大的限制。

综上，行业内急需开发一种能够突出视频携带的特征信息，且能减少运算量，有利于异常行为的检测和识别的方法或者系统。

发明内容

针对现有技术存在的没有突出视频携带的特征信息的缺点，本发明设计了一种基于显著性特征提取的视频行为识别方法。

本申请的具体方案如下：

一种基于显著性特征提取的视频行为识别方法，包括：

S1，获取待识别视频，并将所述待识别视频转化为图像；

S2，对图像进行显著性特征提取，去除图像中的背景信息；

S3，对图像进行行为识别；

S4，输出识别出的异常行为。

优选地，步骤S2包括：

S21，将图像输入Res2Net主干网络，图像经过Res2Net主干网络中的每一层时，图像特征将被分为显著性特征、边沿特征，最终Res2Net主干网络输出显著性特征S0和边沿特征E0；

S22，显著性特征S0和边沿特征E0在CRU单元中作为监督信号交替训练，生成显著性特征S、边沿特征E；

S23，在非对称交叉模块中，显著性特征S与显著性标签Label-S做损失，边缘特征E与边沿标签Label-E做损失，同时从显著性特征S提取边沿特征e，并将边沿特征e与显著性标签的边沿做损失。

优选地，步骤21包括：浅层图像特征首先经过1×1的卷积核，然后经过将具有n个通道的特征图分为4组的卷积核组，前一组的输出特征与另一组输入特征映射一起发送到下一组3×3的卷积核，此过程重复两次，直到处理完所有输入特征映射。最后，将来自4组的特征映射连接起来，经过1×1的卷积核将信息融合在一起，得到多尺度特征。