[发明专利]一种基于计算机视觉的多维度课堂量化系统及方法

权利要求书

1.一种基于计算机视觉的多维度课堂量化系统，其特征在于，该系统包括：数据采集模块、数据实时处理模块、数据可视化展示模块、数据存储模块；其中：

数据采集模块，用于实时采集课堂上课的学生正面视频，以及教师授课的视频，并将其送入数据实时处理模块；

数据实时处理模块，用于实现教师授课行为检测与识别、学生上课学习行为的检测与识别，并将检测后的数据传入数据可视化展示模块和数据存储模块；

数据可视化展示模块，包括新型课堂评价指标体系，用于从四个角度量化课堂并可视化展示，其中包括学生专注度、课堂情绪变化水平、学生课堂区域活跃度、教师授课类型，从而构建教师和学生双向维度的新型评价系统来量化课堂；

数据存储模块，包括整堂课的原始视频数据保留、学生异常行为截帧保留、课堂评价报告生成，从原始视频到处理过程到处理结果三个部分存储数据，用于教师课后参考课堂教学过程，根据量化的学生行为结果反馈教学质量从而针对性地改善教学效果，促进学生学习进步。

2.根据权利要求1所述的基于计算机视觉的多维度课堂量化系统，其特征在于，数据采集模块采用教室前后两个摄像头采集上课学生的正面视频和教师的授课视频共计两路视频，然后将其送入数据处理模块。

3.根据权利要求1所述的基于计算机视觉的多维度课堂量化系统，其特征在于，数据处理模块，用于实现学生和教师的两路视频检测与识别，其中：

第一路视频中，利用opencv工具进行学生上课正面视频流截取帧然后送入到深度学习网络中，深度学习网络采用为基于YOLOV3的目标检测方法，并输出学生的当前学习行为及其位置；

同时，第二路视频中，同样采用opencv工具进行截取片段，将其送入到深度RNN网络进行教师授课方式分类识别。

4.根据权利要求1所述的基于计算机视觉的多维度课堂量化系统，其特征在于，数据实时处理模块中识别的教师授课行为和学生上课学习行为包括：

学生学习行为包括：抬头、阅读、记笔记、拍照、玩手机、睡觉、说话、头部姿态调整、整理衣着共九种行为；

教师授课行为包括：边操作PPT边讲解、站在讲台边讲解、坐着讲解、站在学生中讲解、边走边讲解、仅播放多媒体视频、板书、仅操作多媒体、老师提问、其他共十种行为。

5.根据权利要求1所述的基于计算机视觉的多维度课堂量化系统，其特征在于，数据可视化展示模块中新型课堂评价指标体系包括学生专注度、课堂情绪变化水平、学生课堂区域活跃度、教师授课类型；其中：

学生专注度包括5个二级指标：抬头率、看手机率、阅读记笔记率、睡觉率，计算公式为：

其中，m表示当前时刻课堂内所有学生发生该行为的次数，n表示当前时刻课堂内所有行为发生次数的总和；

课堂情绪水平分为高昂、平稳、低沉三种状态，抬头、阅读、记笔记、拍照均为高昂状态；说话、头部姿态调整、整理衣着均为平稳状态，玩手机、睡觉均为低沉状态；课堂情绪水平计算方式为1分钟内三种课堂情绪水平状态中比重最大的状态即为当前1分钟内的课堂情绪水平；

课堂区域活跃度计算方式为将检测到的学生行为状态按照座位整体分布进行十字分区，即将学生座位区域面向黑板分为上下左右四个区域，比较其中课堂情绪水平高低，并通过方格图颜色的深浅表示其区域的活跃程度。

6.根据权利要求1所述的基于计算机视觉的多维度课堂量化系统，其特征在于，数据存储模块包括原始视频保存子模块、异常行为保留子模块、课堂评价报告子模块共三个子模块；其中：

原始视频保存子模块，用于保存上课的学生正面视频和老师授课视频；

异常行为保留子模块，用于通过深度学习网络输出的睡觉、玩手机的异常行为标签，然后使用opencv工具箱进行截帧行为区域保留；

课堂评价报告子模块，用于生成一整堂课的课堂行为比重分布饼图、课堂情绪水平时间占比分布比重图、整堂课区域活跃度的分布图、教师授课风格分布图。

7.根据权利要求1所述的基于计算机视觉的多维度课堂量化系统，其特征在于，该系统运行在含有GPU显卡的PC操作系统上。

8.一种采用权利要求1所述的基于计算机视觉的多维度课堂量化系统的基于计算机视觉的多维度课堂量化方法，其特征在于,包括以下步骤：

步骤1：视频流数据采集；

通过分布在黑板上方面朝向学生的摄像头及在教室后部朝向教师的摄像头进行两路视频数据采集，采集后将其输入到视频处理模块；

步骤2：视频数据处理；

通过步骤1输入的视频进行两路分析，包括上课学生的正面视频和教师的授课视频共计两路视频；对于学生视频利用opencv进行实时视频截取当前图像帧输入到已经训练好的目标检测模型YOLOV3进行学生的9种课上学习行为的检测，即网络输出学生的位置和当前时刻学生的学习行为状态；对教师视频，利用opencv工具的截取上课视频帧然后输入到已经训练好的深度RNN视频分类模型中进行教师授课风格的分类识别，将教师和学生两个维度输出的标签信息传入数据可视化展示模块和数据存储模块；

步骤3：数据可视化展示；

通过步骤2输入的学生位置、行为状态信息和教师授课风格信息，进行可视化展示，具体包含5个子模块：课堂行为主界面、可视化区、动态统计指标区、截帧区、课堂画像区，主界面区通过大量的数据采集训练后，输入视频数据对视频实时显示学生当前的学习状态和教师授课风格；可视化区将课堂学生的行为经过量化分析后通过课堂整体评价指标课堂专注度、课堂情绪变化水平、课堂区域活跃度、教师授课风格变化情况展现出来；动态统计指标区，统计课堂中学生抬头率、低头率、看手机人数的指标；截帧区即将异常学生状态进行截图保留，以便后续分析；课堂画像区生成课堂画像与宏观整体的课堂评价分析报告；

步骤4：数据存储；

首先保留课堂的原始视频数据，包含学生和教师两路视频以备后续查看；同时根据步骤2输出的学生的标签和位置信息，截取保留16*16像素值的学生玩手机、睡觉的异常行为；最后生成课堂评价分析报告包括整堂课的课堂行为分布饼图和表格、课堂区域活跃度变化热点图、课堂情况变化水平波动折线图、教师授课风格占比图。