[发明专利]基于计算机视觉的编程实操考核系统及方法

权利要求书

1.一种基于计算机视觉的编程实操考核系统，其特征在于，包括：图像采集模块、光标检测模块、文本检测模块和评估模块；

所述图像采集模块用于采集编程实操考核的计算机屏幕画面；

所述光标检测模块用于根据计算机屏幕画面中的光标移动的变化判断行为类型；

所述文本检测模块用于定位当前行代码位置，得到相应的文本位置以及文本宽度；

所述评估模块用于从光标检测模块和文本检测模块中提取静态参数以及动态参数并进行评估；

所述静态参数包括程序文本规则；所述动态参数包括打字速度，删改字符数量以及停顿时间占比参数；

所述光标检测模块的检测模型通过以下步骤训练获得：

步骤S11：使用Labelimg标注训练集，得到训练数据的相关标注；

步骤S12：采用26层的CSPDarknet53作为主干网络，引入了大残差块，同时将CSP stage转换为原始的Darknet残差层，用PANet做Head，针对卷积层正则化，通过空间金字塔池化增大感受野，并将第8个卷积核用2个的3×3卷积核代替，设置步长为1，减少后第6个和第7个卷积核，并设置步长为2，最后接上卷积核；

步骤S13：采用步骤S12中的CSPDarknet53替代yolov4目标检测网络的特征提取主干，经过SPP结构处理后的结果，通过PANet网络来多层次提取图像特征，通过与主干特征提取网络提取结果的连接输出三个不同大小的特征层(15，15)、(28，28)、(56，56)；

步骤S14：通过考虑重叠面积、中心点距离，长宽比，针对预测框和目标框之间的归一化距离，得到的回归损失函数AIOU_Loss：

其中IOU为预测框和目标框的交集与预测框和目标框并集的比例，Distance_2²为预测框和目标中心点的欧式距离，Distance_C²表示两个框的最小外界矩形的对角线距离，σ为针对Distance_2²与Distance_C²的权重系数；β是针对影响因子的一个权重系数，v是衡量长宽比一致性的参数，定义如下：

其中π为数学上的圆周率，arctan代表数学上的反正切函数，w_gt代表目标框的宽，h_gt目标框的高，w_p代表预测框的宽，h_p代表预测框的高，其中γ为对衡量长宽比一致性进行调整的权重系数；

所述光标检测模块采用步骤S11-S14训练好的Yolov4进行光标检测，根据前后帧光标的位置不同，得出不同的行为分析结果，包括，静止、前进、后退、换行以及滚动五个类型；

所述评估模块提取静态参数以及动态参数的过程包括以下步骤：

步骤S31：以ShuffleNetV2作为特征提取主干网络，并将第8个卷积核替代成卷积核，并这设置步长为2，同时将二次下采样特征图的步长从(2,2)改为(1,1)添加一层平均池化层，接上卷积核，最终输出图像卷积特征图；

步骤S32：使用CNN获取序列的特征，采用RNN进行推理，然后利用CTC的使用翻译获得结果：即首先使用CNN获取图像关于卷积的特征，然后通过LSTM更精确的获得图像卷积特征，计算CTC路径损失函数后利用梯度下降与反向传播算法优化识别网络，以解决标签不一致问题；

步骤S33：以行为基本单位对视频的识别；

步骤S34：根据所述光标检测模块得出的行为类型，如果为换行，则使文本检测模块进行文本检测，对上一帧的行进行定位，使用PaddleOcr识别出当前行的代码具体信息，处理语句串，使用以第一个非数字作为间隔，分出行号和代码串，含备注，然后通过识别‘#’，得到备注的位置记录下当前行的静态参数，包括代码字符串，代码字符串个数，备注，同时开启下一行的动态参数记录；

步骤S35：如果所述光标检测模块得出的行为类型是前进后退以及静止，则记录下删改的字符数量，以及打字的时间和总时间，作为动态参数，放入以行对象中。