[发明专利]基于课堂视频的学生课堂参与度分析系统

权利要求书

1.一种基于课堂视频的学生课堂参与度分析系统，其特征在于，包括学生课堂注意力评估模块和学生举手发言情况评估模块；

所述的学生课堂注意力评估模块：用于评估学生课堂的注意力集中情况，将注意力划分为三个不同的等级；

所述的学生举手发言情况评估模块：用于统计每个学生课堂举手的次数以及起立发言的次数；

所述的学生课堂注意力评估模块包括注意力等级与课堂行为特征相关性分析模块、注意力等级分类模块；

所述的注意力等级与课堂行为特征相关性分析模块：用于获取学生肢体骨骼以及面部特征与可观察到的学生行为之间的相关性；

所述的注意力等级分类模块：用于提取相关特征进行深度神经网络分类器的构建，对不同等级的注意力集中水平进行分类；

所述的学生举手发言情况评估模块包括课堂举手发言模块和学生语音定位模块；

所述的学生举手发言情况评估模块：用于通过定义相关关节点之间的角度和坐标位置给出了两种常用的举手姿势，来识别学生举手动作；通过判断身体位移变化定义起立回答问题动作；

所述的学生语音定位模块：用于根据麦克风组成的麦克风阵列对音频进行采集，根据麦克风接收音量的强弱分析出声音的来源。

2.根据权利要求1所述的一种基于课堂视频的学生课堂参与度分析系统，其特征在于：还包括一台Kinect传感器，用于红外深度摄像头捕捉人体的深度图像信息，获取学生的骨骼，肢体姿态数据，麦克风阵列获取过滤处理过的语音信息，通过声源定位确定不同位置学生的课堂发言状态。

3.根据权利要求1所述的一种基于课堂视频的学生课堂参与度分析系统，其特征在于，所述的注意力等级与课堂行为特征相关性分析模块通过观察视频文件中的学生在不同注意力等级下的行为动作，寻找与注意力等级相关的行为。

4.根据权利要求3所述的一种基于课堂视频的学生课堂参与度分析系统，其特征在于，所述的注意力等级与课堂行为特征相关性分析模块获取学生在上课时存在的特定的行为；所述的特定行为与注意力水平之间的相关性R_A(u)计算公式如下：

其中，M为学生人数；总时长为T；k(t)为当前时间的注意力水平,u∈{1,2,3}分为3个等级；A(t)表示是否发生特定行为A(t)∈{0,1}，0表示无行为，1表示有特定行为；R_A(u)表示发生该特定行为与注意力水平为u之间的相关性。

5.根据权利要求1所述的一种基于课堂视频的学生课堂参与度分析系统，其特征在于，所述的注意力等级分类模块中的特征处理方法，步骤如下：为了减小学生个体之间的差异性，计算所有信号的方差和标准差，对信号进行归一化和标准化的处理。

6.根据权利要求2所述的一种基于课堂视频的学生课堂参与度分析系统，其特征在于，针对由于Kinect传感器追踪过程会出现追踪丢失而导致特征集中存在少数缺失值的情况，使用K最近距离邻法对缺失值进行填充；通过计算欧式距离的方法选取距离缺失值样本最近的K个样本，将K个值加权平均来估计该样本的缺失特征数据。

7.根据权利要求1所述的一种基于课堂视频的学生课堂参与度分析系统，其特征在于，所述的注意力等级分类模块中将获取的数据特征构建深度神经网络分类器进行注意力等级分类；所述的深度神经网络分类器结构为3个隐藏层，神经元数目分别为10、20、10，将sigmod函数作为激活函数。

8.根据权利要求2所述的一种基于课堂视频的学生课堂参与度分析系统，其特征在于，提取Kinect传感器获取骨骼肢体数据中的左肩部关节、左肘部关节和左腕部关节坐标数据，定义两种举手发言姿态；

所述的第一种举手发言姿态，左肩部关节、左肘部关节和左腕部关节分别为S，E，W三个点，所构成的三角形中三个边长分别为se，ew，ws，通过余弦定理计算出两条手臂之间的的夹角，如若在设置的阈值范围之内，则判断为举手姿势。

所述的第二种举手发言姿态，判断左腕部关节点和头顶的相对位置，如若左腕部关节点在Y轴方向上的坐标值大于头顶，则判断为举手姿势。