[发明专利]一种基于深度学习的教师课堂表现智能评价方法

说明书

本发明公开了一种基于深度学习的教师课堂表现智能评价方法，包括：对待评价教师的授课视频，分别进行面部表情识别、语音识别和行为识别；将待评价教师面部表情识别、语音识别和行为识别获得的向量信息进行整合，得到待评价教师在该课堂上的情感状态向量和授课状态向量；基于专家标注评分的数据集，训练用于评价的深度学习网络；将待评价教师在该课堂上的情感状态向量和授课状态向量输入到训练好的深度学习网络，得到该教师课堂表现的评价结果。本发明通过结合面目表情和肢体动作进行识别，实现了简单客观地对教师课堂表现进行评价，在识别过程中引入语音信息，通过图像和语音的结合来增加结果的准确性，减轻了督查组的压力，评价结果更加真实客观。

技术领域

本发明属于人工智能技术领域，更具体地，涉及一种基于深度学习的教师课堂表现智能评价方法。

背景技术

高校具有较大的规模，每日进行的教学活动十分丰富。目前针对广大教师的教学工作，学校有督导组考评和学生评价等多种评价体系。然而，对于各位教师在课堂上的表现，缺乏直接有效的评价手段。由于精力和时间有限，督导组无法对所有教师的课程进行长期、完全覆盖的评价。学生评价带有主观因素，对一些严格执教、考试较难的教师可能有失公平。且学生评价反馈周期较长，不具备实时性。

针对上述问题，专利CN107169902A公开一种基于人工智能的微表情分析的课堂教学评价系统，其通过人工智能技术对学生在课堂上的微表情进行识别，从而反映出在学生的课堂效果，学生认知与心理状态等信息，作为教师、教务、学工、家长等各方的重要科学分析与决策依据。然而，该方法的识别对象是学生，通过学生的课堂表现侧面反映课堂教学质量，其评价方法较为片面且不够直接，不足以全面对教学质量进行衡量。如果将该专利的微表情分析方法直接用于教师来评估教师教学质量，则会出现因为教师授课时开口说话会导致情感分析并不准确的后果，且教师与学生的互动，教师的板书等行为信息是无法通过表情识别进行检测的。

发明内容

针对现有技术的缺陷，本发明的目的在于解决现有技术教师课堂表现评价不全面、准确性低的技术问题。

为实现上述目的，第一方面，本发明实施例提供了一种基于深度学习的教师课堂表现智能评价方法，所述方法包括以下步骤：

步骤S1.对待评价教师的授课视频，分别进行面部表情识别、语音识别和行为识别；

步骤S2.将待评价教师面部表情识别、语音识别和行为识别获得的向量信息进行整合，得到待评价教师在该课堂上的情感状态向量和授课状态向量；

步骤S3.基于专家标注评分的数据集，训练用于评价的深度学习网络；

步骤S4.将待评价教师在该课堂上的情感状态向量和授课状态向量输入到训练好的深度学习网络，得到该教师课堂表现的评价结果。

具体地，所述面部表情识别包括以下步骤：

S11.对授课视频帧进行人脸检测，得到人脸帧；

S12.以人脸帧为输入，通过深度卷积网络进行表情识别，得到面部表情向量，所述面部表情向量中的每个元素表示所述人脸帧中人脸表情是某种面部表情的概率。

具体地，所述面部表情识别中还可以包括对人脸帧进行预处理，具体包括：人脸对齐、光照和/或头部姿态矫正。

具体地，所述语音识别包括以下步骤：

S13.对授课音频进行MFCC特征提取和Ivector特征提取；

S14.对MFCC特征进行情感分析得到情感分析向量，对Ivector特征进行说话人识别，得到课堂交互信息；

所述情感分析向量与面部表情向量维度相同，每种感情对应向量中的一个元素，代表判定为该种情感的概率；课堂互动信息表示师生互动行为发生的概率。