[发明专利]一种基于三维卷积网络的景区涂画行为识别方法

说明书

本发明公开一种基于三维卷积网络的景区涂画行为识别方法，应用于图像处理领域，针对现有技术中存在的动作检测中动作边界不明显以及特征提取难的问题；本发明使用深度学习的动作检测方法与传统视频系统相结合而成的智能视频监控技术，采用深度学习方法，对实时视频流中可能出现的异常行为进行检测，当异常行为发生时，提供预警，实现景区不文明行为的智慧化管理；本发明还将静态图像即帧图像与时序信息相结合，采用三维卷积网络在空间与时间维度上同时进行卷积，同时采用精确网络选取最准确的时间区间进行输出，最终得到精确的涂画行为区间。

技术领域

本发明属于图像处理领域，特别涉及一种行为识别技术。

背景技术

最近有关景区中出现不文明行为的报道层出不穷，而针对于景区的不文明行为检测，传统的视频监控系统都是安保人员实时的盯着监控屏幕，虽然一定程度上减少了巡逻的工作量，但是传统的视频监控系统仍然存在许多不足之处。第一，安保人员同时盯着多个场景，极易疲劳，报警效果较弱；第二，根据相关统计绝大部分的监控时间是无需关注的，真正需要人工处理的监控时间低于2％，长时间的专注会使安保人员对监控丧失热情；第三，传统的视频监控系统需要投入大量人力，而且人力资源利用率低。

而随着各种应用的迅速发展和巨大成功，深度学习正在许多安全关键环境中得到应用。其中应用比较广的一类便是动作检测。动作检测(Action Detection)主要用于给分割好的视频片段分类，但在实际中视频多是未分割的长视频，对于长视频的分割并且分类任务叫做时序动作检测(Temporal Action Detection)。给定一段未分割的长视频，算法需要检测视频中的动作片段，包括开始时间、结束时间和动作类别。一段视频可以包含一个或多个相同或不同的动作片段。目前时序动作检测难点较多，解决方法主要针对这些难点。1)目标检测边界框很明确，但时序动作边界比较模糊；2)时序动作检测必须将静态图像(帧图像)结合时序信息，只使用静态图像特征不可行；3)动作时间跨度非常大。

发明内容

本发明提出一种基于三维卷积网络的景区涂画行为识别方法，使用深度学习的动作检测方法与传统视频系统相结合而成的智能视频监控技术已经成了主流趋势；针对于景区中常见的异常行为(攀爬、涂画)，我们采用深度学习方法实现了动作检测，并采用多种网络相结合的方法很好的解决了动作检测中动作边界不明显以及特征提取的难点。

本发明采用的技术方案为：一种基于三维卷积网络的景区涂画行为识别方法，包括：

S1、对实时视频进行预处理；

S2、通过三维卷积网络提取经步骤S1预处理后的视频中的特征图；

S3、将提取的特征图经过动作提议网络得到一系列粗略的涂画动作序列，包含提取到涂画动作序列的中心点和长度；

S4、经过分类网络和精调得到涂画动作序列的具体开始和结束时间。

进一步地，所述步骤S1包括以下子步骤：

S11、对于实时监控摄像头获取到的长时序视频流，采用多尺度生成视频段的方式进行视频分割，得到若干视频序列段，并最终对每个尺度的视频序列段随机采样16帧视频段作为最终视频文件的输入；

S12、采用ffmpeg对经步骤S11得到的视频文件进行每秒25帧的截取，得到一系列连续视频图像帧。

进一步地，所述步骤S2包括以下子步骤：

S21、对输入的视频图像帧在空间上进行三维卷积和池化操作，捕捉视频图像上的时序信息；

S22、对输入的视频图像帧在时间上进行三维卷积和池化操作，捕捉视频图像上的时间信息。

进一步地，步骤S3中的动作提议网络包括RPN网络与区域生成网络。

更进一步地，所述步骤S3包括以下子步骤：