[发明专利]一种基于人脸识别的课堂智能实时分析方法及系统

说明书

本发明公开了一种基于人脸识别的课堂智能实时分析方法及系统，所述方法包括：通过摄像头采集课堂实时数据作为输入视频流，对所述输入视频流进行预处理，得到实时帧画面；检测人脸区域并标记；构建ResNet网络结构与Inception网络结构相结合的卷积神经网络模型，所述卷积神经网络模型中同时包括人脸识别模型和专注度识别模型；准备训练集对所述卷积神经网络模型进行训练；对所述人脸区域做预处理，输入训练好的卷积神经网络模型，输出人脸识别结果和对应的专注度分类结果；将人脸区域标记、人脸识别结果、专注度分析结果直接标注在实时帧画面内，通过帧迭代器生成输出视频流并推送至浏览器。本发明优化了卷积神经网络结构，加快了识别速率，减少延迟。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于人脸识别的课堂智能实时分析方法及系统。

背景技术

在课堂教学过程中，学生的出勤率和学生在课堂上的专注度直接影响学生学习效率和教师的教学质量，传统的考勤分析基本上都需要老师与各位学生的配合，往往耽误正常上课时间，学生课堂上的专注度也无法全面统计，老师无法实时了解学生状态和评估授课质量。因此需要一种智能课堂管理与分析系统来弥补教育行业传统记录考勤、巡课、分析等需要大量人力的缺陷。

近些年来，人工智能技术发展迅速，各类人工智能的应用给人类的生产、交通、生活、教育等多方面带来了极大的便利，特别是模式识别、人脸识别等方向得到了广泛的应用且效果理想。一些智能课堂管理与分析系统在部分校园已有应用，但这些方式往往识别效率低下、滞后严重，不能实时反映学生状态，影响教学质量评估。

发明内容

有鉴于此，本发明提出了一种基于人脸识别的课堂智能实时分析方法，用于解决现有课堂管理系统中识别、分析速率低下，滞后严重的问题。

本发明第一方面，提出一种基于人脸识别的课堂智能实时分析方法，所述方法包括：

通过摄像头采集课堂实时数据作为输入视频流，对所述输入视频流进行预处理，得到实时帧画面；

通过多个固定大小的滑动窗口在每一个帧画面上滑动，检测人脸区域并标记人脸区域；

构建ResNet网络结构与Inception网络结构相结合的卷积神经网络模型，所述卷积神经网络模型中同时包括人脸识别模型和专注度识别模型；

准备人脸图像数据集并制作标签作为训练集，对所述卷积神经网络模型进行训练，直至模型收敛；

对所述人脸区域做预处理，输入训练好的卷积神经网络模型，输出人脸识别结果和对应的专注度分类结果；

将人脸区域标记、人脸识别结果、专注度分析结果直接标注在实时帧画面内，通过帧迭代器生成输出视频流并推送至浏览器。

优选的，所述人脸图像数据集由学生人脸数据库和开源数据集faces_webface组成。

优选的，所述卷积神经网络模型的结构包括输入层、隐藏层和输出层；

所述输入层包括批量归一层batch_norm_1；

所述隐藏层将所述将批量归一层batch_norm_1的输出分为四个分支，其中一个分支用于ResNet网络做残差连接，通过其余三个分支构建第一Inception模块，所述第一Inception模块包括3×3的卷积层branch_11、3×3的最大池化层branch_12以及branch_13使用1×1的卷积层连接3×3的卷积层连接3×3的卷积层组合，将所述三个分支的结果合并concatenated_1作为第一Inception模块的输出；