[发明专利]基于超参数优化的时间差分网络的异常行为检测方法

说明书

本发明提出了一种基于超参数优化的时间差分网络的异常行为检测方法，对异常行为视频进行标注构建短视频数据集；稀疏采样得到图像序列；将图像序列输入局部模型得到局部特征；将局部特征输入全局模型获得全局特征；通过加权平均对不同时间段的深度特征进行融合；选择可能性最高的分类作为最终的预测分类；通过超参数优化自动选择S‑TDM模块和L‑TDM模块的TDN网络的超参数和网络层数得到异常行为检测的最优化模型；使用最优化模型对任意视频进行切段处理得到每个视频小段对应的预测分类，从而实现对学生异常行为的实时监控。本发明采用可自动寻优的超参数优化技术，无需人为设置模型的超参数，实现对异常行为的识别与分类。

技术领域

本发明涉及图像检测的技术领域，尤其涉及一种基于基于超参数优化的时间差分网络(Hyper-parameter Optimization of Time Differentiated Networks,HPO-TDN))的异常行为检测方法，实现视频理解和超参数调整。

背景技术

异常行为极其难以捕捉，大量摄像头的存在，也带来了大量的无用信息，这些无用信息会极大的占用了工作人员的注意力，以致于忽视真正的异常行为。这时，通过深度学习检测视频中的暴力行为就具有重要的现实意义。

在最近几年，深度神经网络在视频动作识别领域获得了巨大进步。时序建模对于捕获视频中的运动信息以进行动作识别十分重要，目前，时序建模主要通过两种机制来实现。第一种是双流网络机制，即：一条网络通过RGB图像捕获图像信息，一条网络通过光流捕获运动特征，然后将两种网络进行融合，这种方式保证了准确度，但是提取光流需要额外的计算开销。另一种方式是通过3D卷积，然而3D卷积隐式学习时间特征的方式并不高效，也会花费很多额外的计算代价。

对于深度学习，调参是一个让人头疼的问题。相对于模型的参数(权重与偏置)可以自动学习，模型的超参数(网络层数、学习率、视频分段数、随机丢弃率等)必须手动调整，合适的超参数不仅可以显著降低训练时间，也可以提高模型精度。超参数的选择对模型最终的效果有极大的影响。如复杂的模型可能有更好的表达能力来处理不同类别的数据，但也可能因为层数太多导致梯度消失无法训练。又如学习率(lr)过大可能导致收敛效果差，过小又可能收敛速度过慢。并且，对于不同的数据集，不同的参数有不同的效果。因此，如何快速找到合适的参数，是本领域技术人员亟需解决的问题。

发明内容

针对现有异常行为检测方法存在的推理速度慢，超参数选择困难的技术问题，本发明提出一种基于HPO-TDN的异常行为检测方法，该方法基于时间差分神经网络(TDN)，并结合超参数优化(HPO)的调参方法将多个视频数据一起作为模型输入并训练，对异常行为的数据集(包括打架、摔倒、爬墙、求助与正常共5个类别)进行分类，取得了良好的效果。同时在基于ResNet50骨干网络的条件下，将ResNet50中conv3_x和conv4_x中网络层数通过TPE算法进行优化，实现了网络层数和超参数的智能选择，提高了模型的推理速度。

为了达到上述目的，本发明的技术方案是如下这样实现的：一种基于超参数优化的时间差分网络的异常行为检测方法，其步骤如下：

步骤1：对异常行为视频数据进行标注，构建短视频数据集，并按照安全管理中最关注的五类学生行为进行分类与标注；

步骤2：对短视频数据集中标注后的每一段短视频X进行8路稀疏采样，得到每段视频的8路图像序列，即8路稀疏采样后的图像序列分别为：I₁＝[I(t₁),I(t₁+1),...,I(t₁+4)]，I₂＝[I(t₂),I(t₂+1),..,I(t₂+4)]，…,I₈＝[I(t₈),I(t₈+1),..,I(t₈+4)]；