[发明专利]一种在线课程知识树的生成关联方法

权利要求书

1.一种在线课程知识树的生成关联方法，其特征在于，所述方法包括：

基于对PPT样式的图片和/或文字和/或符号的识别，训练OCR模型和YOLO目标检测模型；

基于对在线课程的大纲的爬取，获取所述在线课程的知识树主分支；

基于所述OCR模型、YOLO目标检测模型和所述在线课程的视频，捕捉并处理所述视频中的PPT画面，获取所述PPT画面的OCR结果；

基于预设规则从所述OCR结果中抽取知识点；

层级化所述知识点，并获取所述知识点在所述视频中的起止时间；

合并所述知识点至所述知识树主分支，生成所述在线课程知识树；

基于所述OCR模型和/或ASR模型，获取所述在线课程的视频的字幕信息和/或语音信息，将所述知识点与所述在线课程的试题进行关联；

其中，所述基于对PPT样式的图片和/或文字和/或符号的识别，训练OCR模型和YOLO目标检测模型，具体为：

选择OCR模型，所述OCR模型包括clovaai文字识别模型；

基于程序批量化生成的训练数据，训练选择的OCR模型，生成所述OCR模型的中文语料；

增加所述YOLO目标检测模型对特殊符号的检测识别、定位以及尺寸估算，所述特殊符号包括wingdings符号。

2.根据权利要求1所述的在线课程知识树的生成关联方法，其特征在于，

所述clovaai文字识别模型的识别步骤，具体为，

基于图像进行卷积，提取特征；

基于LSTM处理所述特征；

前向传播并产生预测文字。

3.根据权利要求1所述的在线课程知识树的生成关联方法，其特征在于，

所述增加所述YOLO目标检测模型对特殊符号的检测识别、定位以及尺寸估算，具体为，

建立特殊符号目标检测模型，基于包含抗锯齿与换色算法的图像合成算法，批量生成所述特殊符号的训练数据。

4.根据权利要求3所述的在线课程知识树的生成关联方法，其特征在于，

所述抗锯齿与换色算法，具体为，

定义图像红绿蓝三通道分别为C_Red、C_Green、C_Blue；

当将所述特殊符号变成红色主色调，然后叠加到一张背景图片时，即C_Red＝c_Red，C_Green＝0，C_Blue＝0，其中c_Red∈[0,255]，

将所述背景图片的红色通道像素减去c_Red，即C_Red＝C_Red-c_Red，获取记作img_bg的第一结果；

将所述特殊符号的图片的红绿蓝三通道均除以255，即C_Red＝C_Red/255，C_Green＝C_Green/255，C_Blue＝C_Blue/255，获取记作img_wingdings的第二结果；

将img_bg与img_wingdings逐点相乘，获取记作img的第三结果；

将img的红色通道加上c_Red，即C_Red＝C_Red+c_Red。

5.根据权利要求4所述的在线课程知识树的生成关联方法，其特征在于，

所述增加所述YOLO目标检测模型对特殊符号的检测识别、定位以及尺寸估算，具体还包括，

截取文字行向左扩展2倍字高的区域作为目标检测的图像；

定位所述特殊符号的位置；

识别定位的所述特殊符号的图像类别；

计算所述特殊符号的面积。