[发明专利]基于课堂视频的学生课堂参与度分析系统

说明书

本发明公开一种基于课堂视频的学生课堂参与度分析系统，综合评估学生课堂参与度状况，分为学生课堂注意力评估模块和学生举手发言情况评估模块；学生课堂注意力评估模块基于课堂视频信息，利用Kinect传感器获取肢体骨骼以及面部特征与可观察到的学生行为之间的相关性，提取相关特征进行深度神经网络分类器的构建，对不同等级的注意力集中水平进行分类；学生举手发言情况评估模块利用Kinect传感器的骨骼点信息和音频阵列进行多模态融合，对学生举手和回答问题情况进行统计；该系统能够评估学生的课堂行为，结合课堂参与度的相关指标，全面客观的反应课堂不同学生的课堂表现，并可作为教师教学的参考。

技术领域

本发明具体涉及一种基于课堂视频的学生课堂参与度分析系统，特别涉及一种多维度多模态融合的学生课堂参与度评估方式，对学生课堂参与度设立的指标进行量化分析，综合分析学生课堂参与度情况。

背景技术

随着计算机技术的发展，教育信息化在课堂教学领域上的应用越来越广泛，而教师和学生作为教学活动的一个完整的有机体，存在着相互联系，相互促进的关系。学生根据教师的讲解，做出的实时反馈，可以有效地反应教师讲解的质量和教学成果的优劣。对学生课堂参与度进行分析，可以反映教师的授课风格，教学方式以及学生对于课堂内容的接收和理解程度，对于衡量课堂的教学效果具有相当的参考价值。课堂行为动作作为一种综合性较强的评估方式，要求从学生层面进行探讨，研究教学活动的指向性，教学模式的可操作性，教学结构的完整性，教学规律的稳定性以及教学内容的灵活性。学生动作通常由授课教师发起，通过肢体动作的描绘，面部表情的变化，语言风格的转换，吸引课堂上的学生参与某个知识点或疑难问题的讨论，从而激发学生的学习兴趣，提高课堂的教学效果。然而，传统的评估方法面对大量的课堂教学案例时，缺少有利的评估指标，且存在速度慢，准确性低等问题，具有一定的主观性，会受到评价者本身的认知水平限制。利用信息化技术评估师生行为，对教学视频进行自动学习分析，是智慧课堂发展的大势所趋，可以更智能高效的评估学生的课堂行为。

注意力被归类为认知投入的因素之一，是指人的心理活动指向和集中于某种事物的能力。注意力就是在忽略干扰的情况下认知对信息的持续关注能力。在教育领域，注意力反应在课堂教学中就是指学生专注于课堂内容的集中程度，持续注意力或警觉性是用来描述长时间保持注意力集中的能力。比如在教师在课堂上讲课的时候，教学研究的重点通常是确保学生的注意力集中，因为持续的注意力是评估课堂学习效果的一个重要因素。学生课堂注意力集中程度是学生听课状态的直接反馈，也是衡量课堂教学质量的重要指标。传统的注意力评价方法主要有问卷调查，视觉观察进行手动编码，也有些利用利用脑电图(electroencephalography,EEG)、脑磁图(magnetoenphalography,MEG)等提取分析生理信号的方法，还有一些基于面部情绪的情感检测来评估注意力水平，但这些方法都比较片面，技术成本相对较高。

课堂参与度可以通过学生对课堂问题的回答情况，学生对教学内容的响应情况来衡量。传统的课堂参与度情况一般只能通过随堂记录，这同样会耗费较多人力和时间，并且大多数情况下无法得到每个学生的具体参与度；此外，学生对课堂内容的理解情况也是课堂行为信息分析中的重要内容：学生对课堂内容理解的越充分，授课效果越好。然而，传统方法只能通过课后测验等机械性手段对课堂内容的理解程度分析，这既缺乏实时性，也缺乏对于不同学生实际情况的考虑。

自动化学习分析正在成为教育界的大势所趋，需要有效的系统来监控学习过程并向教师提供实时的反馈。深度学习算法和计算机视觉方法的不断进展使得通过对课堂视频的分析自动监测学生的课堂行为和情感状态成为可能。从教学视频中提取用于分析学生课堂行为的有效特征和数据非常关键，为避免人为干预以及减少复杂度，将深度学习等智能化的技术方法应用于其中。借助特征提取和特征分析方法，可以更科学地对师生的行为数据进行更全面的整合分析，再利用贴合的分类识别算法，提炼出一套融合了课堂行为的图像，动作，语音信息的综合评估方法。这种评估方法不同于传统的主观性打分方式，更加富有客观性，更加全面立体，同时也是智慧课堂评估走向深度化的一种初步尝试。