[发明专利]一种教学互动情况识别方法、装置、设备及存储介质

权利要求书

1.一种教学互动情况识别方法，其特征在于，应用于设置有音频采集设备和视频采集设备的教学场景中，所述方法包括：

获取通过所述音频采集设备和所述视频采集设备采集的、在所述教学场景中进行教学活动的教学视频；

针对所述教学视频进行处理，得到至少一个教师动作和至少一个学生动作，其中，所述教师动作和所述学生动作互为对应的关系；

基于所述教师动作和所述学生动作，整合得到师生互动行为；

基于所述师生互动行为，确定教学互动情况。

2.根据权利要求1所述的方法，其特征在于，所述针对所述教学视频进行处理，得到至少一个教师动作和至少一个学生动作，包括：

针对所述教学视频，从所述教学视频中提取得到视频图像文件和视频音频文件；

基于预设的时间间隔，将所述视频图像文件按照预设的时间间隔进行切片处理，得到图像分片文件；

针对所述视频音频文件，从所述视频音频文件中获取存在师生交互的交互音频文件；

针对所述交互音频文件，进行切片处理，得到音频分片文件；

针对所述图像分片文件和所述音频分片文件，分别进行识别处理，得到至少一个教师动作和至少一个学生动作。

3.根据权利要求2所述的方法，其特征在于，所述针对所述图像分片文件进行识别处理，得到至少一个教师动作和至少一个学生动作，包括：

针对所述图像分片文件，通过对所述图像分片文件的画面进行分类，得到教师图像分片文件和学生图像分片文件；

针对所述教师图像分片文件，识别得到教师处于信息区、所述信息区中至少存在一人、教师手持智能移动终端、教师转头角度不小于四十五度、以及教师低头的动作；

针对所述学生图像分片文件，识别得到所述信息区中至少存在一人、以及学生手持智能移动终端的动作。

4.根据权利要求3所述的方法，其特征在于，所述基于所述教师动作和所述学生动作，整合得到师生互动行为，包括：

基于所述教师处于信息区、所述信息区中至少存在一人、教师手持智能移动终端、教师转头角度不小于四十五度、以及教师低头的动作，确定得到教师操纵技术的互动行为；

基于所述信息区中至少存在一人、以及学生手持智能移动终端的动作，确定得到学生操纵技术的互动行为。

5.根据权利要求2所述的方法，其特征在于，所述针对所述音频分片文件进行识别处理，得到至少一个教师动作，包括：

针对所述音频分片文件，从所述音频分片文件中提取出至少一个关键词；

基于预设的交互情景，判断所述音频分片文件是否匹配所述交互情景；

若匹配，基于预设的关联词库中存储的多个关联样本词语，确定所述至少一个关键词匹配的至少一个所述关联样本词语；

若不匹配，基于预设的公共词库中存储的多个公共样本词语，确定所述至少一个关键词匹配的至少一个所述公共样本词语；

基于匹配的所述关联样本词语和所述公共样本词语，确定得到教师说话的动作。

6.根据权利要求5所述的方法，其特征在于，所述基于所述教师动作和所述学生动作，整合得到师生互动行为，包括：

基于所述教师说话的动作，确定得到教师言语维度的互动行为，所述教师言语维度的互动行为包括教师接收情感、教师表扬或鼓励、教师采纳学生观点、教师提问、教师讲授、教师指令、以及教师批评或维护教师权威中的一种或者多种，所述教师提问的互动行为包括提问开放性问题和提问封闭性问题。

7.根据权利要求2所述的方法，其特征在于，在所述基于所述教师动作和所述学生动作，整合得到师生互动行为之后，所述方法包括：

将所述师生互动行为对应的视频图像文件和视频音频文件依照时间顺序进行处理，得到处理后的新视频图像文件和新视频音频文件；

针对处理后的新视频图像文件和新视频音频文件，判断是否出现重复、缺失的情况；

若存在重复、缺失的情况，针对出现重复、缺失的情况的所述新视频图像文件和/或所述新视频音频文件进行调整；

若不存在重复、缺失的情况，确定所述新视频图像文件和所述新视频音频文件对应的师生互动行为。