[发明专利]一种基于多模态数据融合的学生课堂异常行为检测方法及检测系统

说明书

本发明公开了一种基于多模态数据融合的学生课堂异常行为检测方法，该方法包括对课堂视频中的学生表情数据和肢体数据进行预处理和兴趣区域选择，使用LBP直方图作为课堂学生表情特征描述，采用单类支持向量机(One‑Class SVM)作为分类器，进行表情异常检测；使用光流直方图方法(HOFO)计算课堂视频流中的肢体特征向量，使用单支持向量机(One‑Class SVM)作为分类器进行肢体动作异常识别，最后进行逻辑决策融合，得到课堂异常行为最终检测结果。本发明采用了一种新的多模态数据融合的方法，可综合多个模态的数据信息，使得学生课堂行为检测结果更加准确。本发明还公开了一种实现上述方法的检测系统。

技术领域

本发明属于教育信息化技术领域，尤其涉及一种基于多模态数据融合的学生课堂异常行为检测方法及检测系统。

背景技术

作为众灵之长，人类可以利用视觉系统、听觉系统、嗅觉系统和触觉系统等感官系统来接受来自外界环境的信息，通过多模态信息合成，在大脑内形成现实世界的“镜像”。生物信息处理系统可以抑制环境噪声，从每个感觉系统中提取关键信息，解决信息冲突进行决策。智能机器亦可以通过多种信息通道从外部环境中接收多模态信息，例如，视频信息、音频信息等，但人工智能与人类在多模态数据处理能力上还有很大差距，多模态数据融合中仍存在诸多问题亟需解决，例如，抑制不同模态数据中的不同噪声，多模态数据之间的信息冲突问题以及如何融合多模态数据以提高最终识别或者决策的精度。可见，融合多模态数据有助于解决歧义，进而提高智能决策的精度。

在教育领域，多模态学习分析(Multimodal Learning Analytics，MMLA)侧重于收集和分析从学习过程的不同方面获得各种痕迹，以更好的理解和改进教学过程。多模态数据融合的方法根据信息融合的层次大致可以分为三类，包括像素级融合、特征级融合、决策级融合以及各种方法的结合方法。多模态数据的每种模态都或多或少的包含有助于最终分类或识别任务的信息，为了更有效地融合多模态数据，需要洞察信息融合层次，针对不同情况应用不同的信息融合策略。

教育领域中，课堂是教育实践的主要场所，科学有效的课堂观察可以帮助学生提高学生学习效率，助力教师改进教学方法与策略。学生课堂行为是衡量课堂参与的重要指标，而肢体动作和面部表情能够传达总体学习情感信息的70％，是衡量学生课堂参与的不可缺少的非语言行为。纵观现阶段教育领域中视频识别技术支持的学生课堂行为检测研究，发现多数研究聚焦于单模态数据，例如，何秀玲等人^[1]提出基于人体骨架和深度学习的学生课堂行为识别方法，即通过图像提取学生的人体骨架单模态信息，并结合CNN-10来识别学生的课堂行为。类似的，徐家臻等人^[2]以监控设备拍摄的实际课堂教学视频为数据源，提出学生单模态人体骨架信息，采用Boosting算法和卷积神经网络进行自动化识别。Vermum等人^[3]将肢体动作识别技术应用于远程教学系统，有助于反馈远程学习者的学习状态。贾鹂宇等人^[4]基于课堂视频数据，对课堂学生数量、学生位置、学生人脸关键点进行学生状态分析，通过统计计算课堂活跃度。总之，课堂场景中的学生状态检测仍然面临如下挑战：其一，尚缺乏对学生课堂状态异常事件的检测；其二，基于视频数据的学生课堂状态检测多聚焦于单一模态数据，未充分融合多模态信息；其三，方法上，特征描述符多依赖于手工制作的特征或以无监督的方式操作堆叠去噪自动编码器的方法。

发明内容

为了解决现有技术存在的不足，本发明的目的是提供了一种基于多模态数据融合的学生课堂异常状态检测方法及检测系统。该方法针对课堂视频流中包含的两种不同模态的数据，分别采用局部二值模式(LBP)和光流直方图(HOFO)方法形成表情特征向量和肢体特征向量，对特征向量降维后，分别输入单类支持向量机(One-class SVM)，得到不同模态的异常检测结果，最后经过决策融合方法得到最后的融合异常检测结果，从而达到融合多模态信息提升检测正确率的效果。所述异常状态包括表情异常和肢体异常；其中，表情异常包括哭泣、厌恶、目光呆滞、鬼表情等；肢体异常包括吃东西、玩手机、用手推、拳头打人、站立、挥手、打哈欠等。