[发明专利]一种基于低学龄教学音视频的辅助统计报告生成方法

说明书

本发明公开了一种基于低学龄教学音视频的辅助统计报告生成方法。其中的音视频的辅助统计报告来自于对现阶段特级教师的教学视频资源的提取和处理，通过对大量的优秀教师的教学影像分离出音频数据和视频数据，音频数据利用基于LSTM的网络模型将音频数据转换成文本数据，通过汉语分词将文本数据进行分词生成简要教案；视频数据则先通过场景分类，然后通过基于深度学习的目标检测算法统计视频中出现的教学辅助工具的类别以及时间，生成可视化统计图。最后融合音频数据和视频数据中提取到的信息，生成一个教学辅助统计报告，用于低学龄学生的辅助教学；该教学辅助统计报告生成系统可提供一个实时的在线教学辅助统计报告，减少教师备课的时间。

技术领域

本发明涉及教学辅助领域，视频和音频上主要涉及计算机视觉领域及自然语言处理领域。

背景技术

在一般的教学活动中，当授课老师在面对低学龄的学生时，很多讲解抽象知识都需要形象化、具体化才能更易于学生的理解，所以在授课老师备课时除了要准备好自己的教案，还要同时准备好上课时辅助的道具，如此一来，授课老师需要准备更全面的资料去应对讲课，通过观看大量的特级教师网络视频课程资源就是一个好的准备方式，但是如果要观看大量的授课视频务必要耗费大量的备课时间，所以，节约备课时间提高效率是关键，提出教学辅助报告，主要为授课老师呈现一份特级教师上课内容图文结合的报告，图文中包括特级教师对该课程提出的一些目标和课程要求，以及上课过程中用到了哪些教学辅助道具，减轻授课老师在面对低学龄学生时的备课工作量，提升工作效率。

综上所述，我们给授课老师呈现一份特级教师上课内容图文结合的书面报告，以此可供授课老师参考在面对低学龄的学生时教学过程中需要注意些什么，大大的缩短备课时间，但是在现有的技术中还没有生成这样的教学辅助报告的形式和手段。

发明内容

为了减少授课老师在面对低学龄学生的备课时间以及提升备课效率，本发明的目的在于提供一种基于低学龄教学音视频的辅助统计报告生成方法。

为了实现上述目的，本发明的技术方案为一种基于低学龄教学音视频的辅助统计报告生成系统，具体技术方案包括以下步骤：

步骤1给定单个特级教师网络视频课程进行视频与音频的分离，通过基于FFmpeg的视音频分离器模块进行分离后得到原视频和原音频两个文件；

步骤2对分离后的原视频进行处理：

2-1.利用基于边缘检测的镜头分割算法做镜头分割，提取原视频中的关键帧图像，从关键帧处做视频分段，通过基于OCR文本检测算法来检测文字区域占有比例，且定义低于预设定阈值比例的镜头画面的图像帧为负样本，其余图像帧均为正样本，提取正样本的视频数据，完成视频数据的场景分类；

2-2.对数据集MS-COCO进行人工筛选出室内场景的目标物体送入yolo-v3中进行训练；

2-3.对步骤2-1中保留正样本的视频数据用步骤3训练好的yolo-v3模型做目标检测；

2-4.统计步骤2-3中正样本视频数据中检测到的目标，统计目标的类别以及对应的时长，生成可视化统计图；

步骤3对步骤2中得到的原音频数据进行处理，通过调用基于LSTM的训练好的模型将音频数据转换成文本数据；并将获取的文本数据送到NLPIR汉语分词模块中，做自动摘要与关键词提取，生成新的文本信息；

步骤4通过Python脚本语言整合步骤5中的可视化统计图和步骤3中新的文本信息生成对应课程的教学辅助统计报告；

所述的步骤2所述的对分离后的原视频进行处理包括以下模块：

模块1：模型训练和测试模块；

模块2：场景分类模块，该模块中包括关键帧图像提取、关键帧图像的分类以及视频分段，获得正样本视频数据；