[发明专利]一种基于低学龄教学音视频的辅助统计报告生成方法

摘要

本发明公开了一种基于低学龄教学音视频的辅助统计报告生成方法。其中的音视频的辅助统计报告来自于对现阶段特级教师的教学视频资源的提取和处理，通过对大量的优秀教师的教学影像分离出音频数据和视频数据，音频数据利用基于LSTM的网络模型将音频数据转换成文本数据，通过汉语分词将文本数据进行分词生成简要教案；视频数据则先通过场景分类，然后通过基于深度学习的目标检测算法统计视频中出现的教学辅助工具的类别以及时间，生成可视化统计图。最后融合音频数据和视频数据中提取到的信息，生成一个教学辅助统计报告，用于低学龄学生的辅助教学；该教学辅助统计报告生成系统可提供一个实时的在线教学辅助统计报告，减少教师备课的时间。

主权项

1.一种基于低学龄教学音视频的辅助统计报告生成方法，其特征在于包括如下步骤：步骤1给定单个特级教师网络视频课程进行视频与音频的分离，通过基于FFmpeg的视音频分离器模块进行分离后得到原视频和原音频两个文件；步骤2对分离后的原视频进行处理：2‑1.利用基于边缘检测的镜头分割算法做镜头分割，提取原视频中的关键帧图像，从关键帧处做视频分段，通过基于OCR文本检测算法来检测文字区域占有比例，且定义低于预设定阈值比例的镜头画面的图像帧为负样本，其余图像帧均为正样本，提取正样本的视频数据，完成视频数据的场景分类；2‑2.对数据集MS‑COCO进行人工筛选出室内场景的目标物体送入yolo‑v3中进行训练；2‑3.对步骤2‑1中保留正样本的视频数据用步骤3训练好的yolo‑v3模型做目标检测；2‑4.统计步骤2‑3中正样本视频数据中检测到的目标，统计目标的类别以及对应的时长，生成可视化统计图；步骤3对步骤2中得到的原音频数据进行处理，通过调用基于LSTM的训练好的模型将音频数据转换成文本数据；并将获取的文本数据送到NLPIR汉语分词模块中，做自动摘要与关键词提取，生成新的文本信息；步骤4通过Python脚本语言整合步骤5中的可视化统计图和步骤3中新的文本信息生成对应课程的教学辅助统计报告。