[发明专利]基于超参数优化的时间差分网络的异常行为检测方法

权利要求书

1.一种基于超参数优化的时间差分网络的异常行为检测方法，其特征在于，其步骤如下：

步骤1：对异常行为视频数据进行标注，构建短视频数据集，并按照安全管理中最关注的五类学生行为进行分类与标注；

步骤2：对短视频数据集中标注后的每一段短视频X进行8路稀疏采样，得到每段视频的8路图像序列，即8路稀疏采样后的图像序列分别为：I₁＝[I(t₁)，I(t₁+1)，...，I(t₁+4)]，1₂＝[I(t₂)，I(t₂+1)，..，I(t₂+4)]，…，I₈＝[I(t₈)，I(t₈+1)，..，I(t₈+4)]；

步骤3：将8路视频的图像序列分别输入到局部模型的2D-CNN和S-TDM模块得到RGB图像特征和时序图像特征，RGB图像特征和时序图像特征进行连接得到局部特征；

步骤4：将短视频的局部特征输入到包含L-TDM模块的全局模型，获得全局特征；

步骤5：通过一个FC全连接层对每段视频的8路图像序列对应的全局特征进行提取得到8路深度特征，在Fusion模块里通过加权平均对这8路深度特征进行融合，得到深度融合特征；对融合后的特征张量进行softmax处理，得到可能性最高的分类作为最终的预测分类；

步骤6：步骤2至步骤5中的网络架构通过超参数优化的方式自动选择S-TDM模块和L-TDM模块以及TDN网络中的超参数，达到预设精度时得到异常行为检测的最优模型；最优模型对任意一段视频进行步骤2-5的处理得到该段视频的预测分类。

2.根据权利要求1所述的基于超参数优化的时间差分网络的异常行为检测方法，其特征在于，所述短视频数据集包含1107个短视频，短视频时长在2-5s之间，每个短视频人工分类标注唯一的标签。

3.根据权利要求2所述的基于超参数优化的时间差分网络的异常行为检测方法，其特征在于，所述稀疏采样的方法为：每个视频被划分成为具有相同持续时间且不重复的八小段，每小段视频中提取5帧图像，在每小段视频中选取中间一帧和该帧的前后两帧共获取五帧图像序列I_k＝[I(t_k)，I(t_k+1)，...，I(t_k+4)]，k表示第几路，k＝1，2，…，8。

4.根据权利要求1-3中任意一项所述的基于超参数优化的时间差分网络的异常行为检测方法，其特征在于，所述局部模型和全局模型均是基于TDN网络的，TDN网络以ResNet50为骨干网络，局部模型嵌入骨干网络的conv1和conv2_x网络层中，全局模型嵌入骨干网络的conv3_x和conv4_x网络层中。

5.根据权利要求4所述的基于超参数优化的时间差分网络的异常行为检测方法，其特征在于，所述局部模型采用双流网络结构，通过2D-CNN从图像序列I的中间一帧图像中抽取RGB图像特征，同时通过S-TDM模块从图像序列I_k中抽取时差图像的特征，得到时序特征；将RGB图像特征和时序特征进行连接，得到局部特征。