[发明专利]一种基于深度学习的考生考场异常行为分析方法

权利要求书

1.一种基于深度学习的考生考场异常行为分析方法，其特征在于，包括以下步骤：

步骤(1)：通过视频监控装置采集考场视频图像；

步骤(2)：将采集考场视频图像以时间顺序组成图像序列并进行预处理后得到图像序列S；

步骤(3)：对图像序列S进行考生目标检测及考生骨架模型检测，得到每个考生的骨骼模型；所述步骤(3)包括：采用卷积神经网络在每个阶段设计不同层数和不同大小的卷积核进行考生目标检测及考生骨架模型检测，并采用两个分支的并行结构分别获得考生骨架关节坐标点置信图和考生骨架关节点关联关系；

步骤(4)：分别对每个考生的图像序列S和对应的骨骼模型进行关联，建立每个考生的骨骼模型流；

步骤(5)：根据考场行为特点，删除骨骼模型流中记录考生下半身动作的骨骼关节点，得到每个考生在图像序列S中的考生目标骨架模型；

步骤(6)：对目标骨架模型建立统一的坐标系，在统一坐标系中计算连续多帧图像中目标考生的上半身关节坐标点的特征向量v；

步骤(7)：将特征向量v输入到用于识别异常行为特征向量的支持向量机分类器，通过支持向量机分类器分类判断得到考生的异常行为分析结果。

2.如权利要求1所述的基于深度学习的考生考场异常行为分析方法，其特征在于，在步骤(2)中，所述的预处理包括采用高斯滤波平滑和直方图均衡化对图像的噪声进行抑制，所述图像序列S的尺寸为h×w。

3.如权利要求1所述的基于深度学习的考生考场异常行为分析方法，其特征在于，所述步骤(4)包括：使用非极大值抑制算法确定每个考生在不同相邻图像序列之间所处的位置，跟踪考生目标，建立连续的图像序列S中每个考生的骨骼模型流。

4.如权利要求1所述的基于深度学习的考生考场异常行为分析方法，其特征在于，所述特征向量v包括：目标考生的上半身关节坐标点的变化幅度值、方向和胳膊连接线、两肩连接线、头部连接线相互之间的角度变化值及所对应运动轨迹。

5.如权利要求1所述的基于深度学习的考生考场异常行为分析方法，其特征在于，所述步骤(3)具体包括：

步骤(3.1)：使用已经预训练好的VGG-19网络模型的conv3_4网络层对图像序列S提取特征并输出相应的特征图F；

步骤(3.2)：特征图F分别输入到已经预训练好的多阶段双分支卷积神经网络中，其中,分支一得到所有考生的骨骼关节点置信图分支二得到属于每个考生的骨骼关节点关联关系经过多个阶段迭代后结合骨骼关节点置信图和每个考生的骨骼关节点关联关系得到最终的每个考生的骨骼模型。

6.如权利要求1所述的基于深度学习的考生考场异常行为分析方法，其特征在于，在实时考场监控中，所述步骤(7)还包括：收集分析结果错误的特征向量并建立异常行为分析修正库，将特征向量v与修正库中的行为特征向量进行相似度匹配，屏蔽后续相同的识别错误。

7.如权利要求6所述的基于深度学习的考生考场异常行为分析方法，其特征在于，所述步骤(7)具体包括：

步骤(7.1)：建立异常行为分析修正库V＝{v 1,v 2,...,v n},n＝1,2,...，把分析错误的行为的特征向量依次保存到异常行为分析修正库中，并记录相应的修正后的行为类型；

步骤(7.2)：将异常行为分析修正库中的特征向量v n与特征向量v进行余弦相似度匹配，并设定相似度阈值T，当两者相似度大于阈值T时，说明两者相似；

步骤(7.3)：将特征向量v输入到支持向量机分类器，当支持向量机分类器分类判得到考生的异常行为分析结果与步骤(7.2)得出相似度匹配输出结果一致时，得到最终的考生异常行为分析结果。

8.如权利要求1所述的基于深度学习的考生考场异常行为分析方法，其特征在于，所述考生考场异常行为包括：转身、起身、转头、伸手。