[发明专利]基于计算机视觉的编程实操考核系统及方法

说明书

本发明提出一种基于计算机视觉的编程实操考核系统及方法，包括：图像采集模块、光标检测模块、文本检测模块和评估模块；所述图像采集模块用于采集编程实操考核的计算机屏幕画面；所述光标检测模块用于根据计算机屏幕画面中的光标移动的变化判断行为类型；所述文本检测模块用于定位当前行代码位置，得到相应的文本位置以及文本宽度；所述评估模块用于从光标检测模块和文本检测模块中提取静态参数以及动态参数并进行评估；所述静态参数包括程序文本规则；所述动态参数包括打字速度，删改字符数量以及停顿时间占比参数。其能够对编程实操考核的过程进行计算机自动处理分析。

技术领域

本发明属于计算机视觉、教学辅助工具技术领域，尤其涉及一种基于计算机视觉的编程实操考核系统及方法。

背景技术

在计算机软件相关的教学和考核中，如果仅仅依靠代码最终成果判定学生分数，并不能全面地评价学生的水平，还存在诸多问题，例如存在代码实现功能相同，但完成代码的过程中，行为规范分数差距较大，而仅依靠单一的最终成果分，很难评判学生的真实水平。且目前往往只能通过教师进行人工阅卷评判，费时费力，客观性也存在不足。

发明内容

针对现有技术的空白，本发明提出了一种基于计算机视觉的编程实操考核系统及方法，结合Yolov4、DBNet、PaddleOcr等视觉技术，通过编程实操考核视频，对其进行考核的过程进行计算机自动处理分析，高效地得出一个客观的行为分数，结合静态分数，能够全面客观的评判学生的编程实操水平。

本发明具体采用以下技术方案：

一种基于计算机视觉的编程实操考核系统，其特征在于，包括：图像采集模块、光标检测模块、文本检测模块和评估模块；

所述图像采集模块用于采集编程实操考核的计算机屏幕画面；

所述光标检测模块用于根据计算机屏幕画面中的光标移动的变化判断行为类型；

所述文本检测模块用于定位当前行代码位置，得到相应的文本位置以及文本宽度；

所述评估模块用于从光标检测模块和文本检测模块中提取静态参数以及动态参数并进行评估；

所述静态参数包括程序文本规则；所述动态参数包括打字速度，删改字符数量以及停顿时间占比参数。

进一步地，所述光标检测模块的检测模型通过以下步骤训练获得：

步骤S11：使用Labelimg标注训练集，得到训练数据的相关标注；

步骤S12：采用26层的CSPDarknet53作为主干网络，引入了大残差块，同时将CSPstage转换为原始的Darknet残差层，用PANet做Head，针对卷积层正则化，通过空间金字塔池化增大感受野，并将第8个卷积核用2个的3×3卷积核代替，设置步长为1，减少后第6个和第7个卷积核，并设置步长为2，最后接上卷积核；

步骤S13：采用步骤S12中的CSPDarknet53替代yolov4目标检测网络的特征提取主干，经过SPP结构处理后的结果，通过PANet网络来多层次提取图像特征，通过与主干特征提取网络提取结果的连接输出三个不同大小的特征层(15，15)、(28，28)、(56，56)；

步骤S14：通过考虑重叠面积、中心点距离，长宽比，针对预测框和目标框之间的归一化距离，得到的回归损失函数AIOU_Loss：