[发明专利]一种基于多模态数据融合的学生课堂异常行为检测方法及检测系统

权利要求书

1.一种基于多模态数据融合的学生课堂异常行为检测方法，其特征在于，所述方法包括：

步骤一、通过课堂摄像机获取学生在课堂学习过程中的视频数据；

步骤二、对步骤一中获得的课堂视频数据进行预处理；

步骤三、将步骤二预处理后的图像进行二值化，选择视频流的每一帧图像中的兴趣区域，集中提取学生行为特征；

步骤四、将上述处理完成的课堂视频流数据分别采用局部二值法LBP和光流直方图法HOFO分别提取学生课堂中的表情特征向量和肢体特征向量；

步骤五、将获得的学生课堂表情特征向量和肢体特征向量分别输入单分类支持向量机OCSVM分类器中进行分类，得到课堂学生行为是否异常的分类结果；

步骤六、将表情和肢体的两模态分类结果进行逻辑融合，得到最终课堂异常行为检测结果。

2.根据权利要求1所述的方法，其特征在于，步骤二中，所述预处理包括图像灰度化、视频图像分辨率调整、视频图像大小归一化、视频噪音去除；

所述图像灰度化是指用一个数值取代彩色图像R、G、B三个分量值，以表示图像像素点颜色深度，范围取值为[0,255]；

所述视频图像分辨率调整至256*1169，保证图像清晰；

所述视频图像大小归一化是指将不同的视频图像调整为像素值一样的大小；

所述视频图像噪音去除是指去除图像数据中的不必要的或者多余的信息。

3.根据权利要求1所述的方法，其特征在于，步骤三中，所述二值化是指将图像转化为非黑即白两种颜色的表示模式，像素点的颜色深度为0或者255；视频中的感兴趣区域采用最大类间差法选择。

4.根据权利要求1所述的方法，其特征在于，步骤四中，所述局部二值法LBP通过将图像中心像素P的灰度值与相邻像素的灰度值进行比较来计算像素值，公式表达如下：

L≈l(s(n₀-n_c),...,s(n₇-n_c))，

其中，L表示通过计算得到的数值，l(x)表示单个s(x)计算结果，n₀表示窗口中除中心像素之外的像素值，n_c表示中心像素值，

5.根据权利要求1所述的方法，其特征在于，步骤四中，光流直方图法HOFO中描述符的计算是以块block为单位的，包括b^w×b^h个胞体cell，每个cell中包含c^w×c^h个像素，把胞体内的每个像素用光流方向映射到固定的角度范围，使用统计直方图进行统计，获得整个胞体的光流直方图；然后把几个胞体组合成块，一个块内的所有胞体的特征描述符串联起来便得到该块的HOFO特征描述符。

6.根据权利要求1所述的方法，其特征在于，步骤五中，所述单分类支持向量机是通用支持向量机的一种特殊变体，只需要使用正常或者异常中的一类样本进行训练；分别设置并训练对应于表情特征向量和肢体特征向量的表情异常检测器和肢体异常检测器，即表情异常分类支持向量机和肢体异常分类支持向量机；表情异常包括哭泣、厌恶、目光呆滞、鬼表情；肢体异常包括吃东西、玩手机、用手推、拳头打人、站立、挥手、打哈欠。

7.根据权利要求6所述的方法，其特征在于，单分类支持向量机OCSVM旨在建立一个决策边界，该边界在正常数据集和原点之间具有最大距离；通过正常样本数据集训练出最佳学习边界，包括几乎所有的正常行为样本点，测试时，边界以内靠近原点的属于正常行为，边界以外的属于异常点；OCSVM通过内核函数将输入数据映射到高维特征空间，使其具有更好的聚集性，然后迭代地找到最优边缘超平面，实现训练数据与原点之间距离的最大化。