[发明专利]一种基于低学龄教学音视频的辅助统计报告生成方法

权利要求书

1.一种基于低学龄教学音视频的辅助统计报告生成方法，其特征在于包括如下步骤：

步骤1给定单个特级教师网络视频课程进行视频与音频的分离，通过基于FFmpeg的视音频分离器模块进行分离后得到原视频和原音频两个文件；

步骤2对分离后的原视频进行处理：

2-1.利用基于边缘检测的镜头分割算法做镜头分割，提取原视频中的关键帧图像，从关键帧处做视频分段，通过基于OCR文本检测算法来检测文字区域占有比例，且定义低于预设定阈值比例的镜头画面的图像帧为负样本，其余图像帧均为正样本，提取正样本的视频数据，完成视频数据的场景分类；

2-2.对数据集MS-COCO进行人工筛选出室内场景的目标物体送入yolo-v3中进行训练；

2-3.对步骤2-1中保留正样本的视频数据用训练好的yolo-v3模型做目标检测；

2-4.统计步骤2-3中正样本视频数据中检测到的目标，统计目标的类别以及对应的时长，生成可视化统计图；

步骤3对步骤1中得到的原音频数据进行处理，通过调用基于LSTM的训练好的模型将音频数据转换成文本数据；并将获取的文本数据送到NLPIR汉语分词模块中，做自动摘要与关键词提取，生成新的文本信息；

步骤4通过Python脚本语言整合可视化统计图和新的文本信息生成对应课程的教学辅助统计报告。

2.根据权利要求1所述的一种基于低学龄教学音视频的辅助统计报告生成方法，其特征在于

所述的步骤2所述的对分离后的原视频进行处理包括以下模块：

模块1：模型训练和测试模块；

模块2：场景分类模块，该模块中包括关键帧图像提取、关键帧图像的分类以及视频分段，获得正样本视频数据；

模块3：对正样本视频数据进行目标物体的检测，生成可视化统计图。

3.根据权利要求2所述的一种基于低学龄教学音视频的辅助统计报告生成方法，其特征在于模块1具体实现如下：

选用YOLO-V3来对人工筛选后的MS-COCO数据集进行训练，训练与测试比例为1∶1；

模块1.1调整输入图像的大小为448*448；

模块1.2将预处理后的图像送入darknet53中进行处理，用于提取特征；其中53表示53个卷积层的网络；

模块1.3YOLO-V3使用维度聚类作为anchor boxes来预测边界框，网络为每个边界框预测四个坐标，分别为t_x、t_y、t_w、t_h；如果单元格从图像的左上角偏移(c_x，c_y)；并且之前的边界框具有宽度和高度p_w、p_h，则预测对应的四个边界框的坐标为：

b_x＝δ(t_x)+c_x

b_y＝δ(t_y)+c_y

模块1.4通过每个网格预测B个边界框以及每个边界框的置信度confidence；

其中，P_r(Object)表示网格存在物体为1，不存在物体为0；

每个边界框有5个预测值：x、y、w、h、confidence，(x，y)代表预测边界框的中心点坐标，w，h是边界框的宽度和高度，confidence是预测边界框和真实边界框的IOU；

模块1.5通过每个网格预测C个条件类别概率P_r(Class_i|Object)，这是网格中含有物体的条件下属于某个类别的概率，即条件类别概率；

模块1.6通过条件类别概率和confidence相乘，可以得到每个边界框在各个类别的得分值，这些得分值代表该类别物体出现在框中的概率和边界框与物体的拟合程度；

模块1.7在训练数据集上对网络进行135个epochs的训练，训练中的batch size为64，momentum为0.9，decay为0.0005；在第一个epoch中将learning rate慢慢的从0.001提高到0.01，防止不稳定的梯度会导致网络发散；以0.01训练75个epochs，再以0.001训练30个epochs，以0.0001训练30个epochs；

模块1.8完成训练以后并进行测试，完成网络模型建立。