[发明专利]面向课堂场景的人体行为识别方法

说明书

课堂是学校教育的核心场景，观察记录学生的课堂学习行为对评估教学质量有重要意义。仅依靠授课老师无法全面记录学生的学习行为，针对这一需求，面向课堂场景的人体行为识别方法实现了学生课堂学习行为的自动识别和记录。面向课堂场景的人体行为识别方法：提出3D多管道模型，降低3D CNN模型计算量。制作了课堂场景学生行为的数据集，由9名同学按指定序列完成相应动作，包括端坐、书写、趴桌、左顾右盼、举手、起立等常见行为，并以此训练模型，实现学生行为的分类识别功能。实现了完整的面向课堂场景的人体行为识别系统。包括人体检测跟踪，视频分割以及最后的行为识别，用于教学评估中的统计分析。

技术领域

本发明涉及一种面向课堂场景的人体行为识别方法，属于计算机视觉领域和深度学习领域。

背景技术

课堂是学习教育的核心场景，观察记录学生的课堂学习行为对评估教学质量有着重要意义。

现阶段，观察记录学生的课堂学习行为主要是靠授课老师课堂现场人为监督，以及后期通过视频资料对学习行为进行评估。

目前这两种评估方式主要存在以下问题：

(1)工作耗时长、自动化程度低。

(2)授课老师分散精力，降低授课效率。

(3)无法全面和准确地记录所有学生的学习行为。

本专利发明了一种面向课堂场景的人体行为识别方法，该方法采用深度学习的方法实现了完整的面向课堂场景的人体行为识别系统。包括人体检测和跟踪，视频分割以及最后的行为识别，行为识别结果按照学生ID记录，用于教学评估中的统计分析，既可以得到学生个人的学习行为表现，也可以得到课堂整体的参与度和活跃度。

发明内容

本发明的目的在于解决当前课堂学习行为分析工作耗时长，自动化程度低，无法全面准确地记录所有学生的学习行为等问题，其技术方案如下：

面向课堂场景的人体行为识别方法：提出3D多管道模型，在保证精度的前提下，降低3D CNN模型计算量。制作了课堂场景学生行为的数据集，由9名同学按指定序列完成相应动作，包括端坐、书写、趴桌、左顾右盼、举手、起立等常见行为，并以此训练模型，实现学生行为的分类识别功能。实现了完整的面向课堂场景的人体行为识别系统。包括人体检测跟踪，视频分割以及最后的行为识别，用于教学评估中的统计分析，既可以得到学生个人的学习行为表现，也可以得到课堂整体的参与度和活跃度。

附图说明

图1系统流程图

图2人体检测和跟踪实验结果图

图3人体边界框分割结果像

图4多管道模块示意图

图5数据集实验结果比较图

图6真实课堂的人体检测和跟踪图

图7真实课堂的人体边界框分割图

图8训练过程的流程图

图9测试流程图

图10测试结果图

具体实施方式

面向课堂场景的人体行为识别方法

首先，利用YOLO_v3目标检测框架和Deepsort多目标跟踪对9名同学进行检测与跟踪，根据识别到的人体边界框对视频进行切割，并将切割下来的单人视频分为7个类别作为行为标签。通过得到的数据集来训练改进的3D CNN网络，将数据按7：2：1的比例划分为训练集、验证集、和测试集三部分。最后，从拍摄的真实课堂视频中分割出单人视频，来验证网络效果，实现完整的面向课堂场景的人体行为识别系统。系统流程图如图1所示。

具体步骤：