[发明专利]基于MixNet-YOLOv3和卷积递归神经网络CRNN的算术题智能批阅系统

权利要求书

1.基于MixNet-YOLOv3和卷积递归神经网络CRNN(Convolutional Recurrent NeuralNetwork)的算术题智能批阅系统，其特征在于，包括如下步骤：

（1）对原始检测数据集进行预处理，通过数据增强手段增强样本的泛化性，同时利用K均值聚类算法生成适应该场景的两组先验框，用于检测网络的训练；

（2）将整张图像输入到轻量级的MixNet网络模型中，进行图像定位和语义特征的提取，得到表示图像全局信息的多尺度特征；

（3）利用特征金字塔网络FPN(Feature Pyramid Networks) 特征融合技术，融合不同尺度的特征，分别输送到对应的YOLOv3预测模块中，并根据两组先验框分别对产生的特征图进行计算，基于最佳的先验框来预测，并根据预测出的坐标、置信度、类别信息与标签信息进行损失函数的计算，通过迭代训练得到更为精确的检测模型；

（4）根据检测网络输出的算术题边框，将抽取的算术题和标注的文本信息组合起来，构成识别模块的数据集；

（5）将抽取的算术题图像转成灰度图送入卷积递归神经网络CRNN网络，首先经过卷积神经网络CNN(Convolutional Neural Networks) 提取特征得到特征图，再转换成序列送入双向长短期记忆网络LSTM(Long Short-Term Memory) 获取序列特征，最后经过联结时序分类CTC(Connectionist Temporal Classification) 算法转录得到最终的语义信息；

（6）根据识别模块得到的即得语义信息，进行算术逻辑的运算操作，从而判断出每道算术题目的正确与否，对于做错的题目会给出正确答案。

2.根据权利要求1所述的基于MixNet-YOLOv3和卷积递归神经网络CRNN的算术题批阅系统，其特征在于，所述的步骤（1）首先通过LabelImg标注软件生成图片的标注框，然后利用平移、旋转、裁剪等数据增强手段扩充原始的数据集，增强数据的泛化性和鲁棒性，针对数据集中的边框信息，通过K均值聚类算法得到2个尺度共4个先验框，用于检测网络的训练。

3.根据权利要求1所述的基于MixNet-YOLOv3和卷积递归神经网络CRNN的算术题批阅系统，其特征在于，所述的步骤（2）采用轻量级MixNet网络提取图像多尺度特征,通过不同卷积核的混合深度卷积结构代替深度可分离卷积结构，在极大的减少网络参数量的同时，增强了网络融合多尺度语义和定位特征的能力，从而提取到更为系统全面的特征，混合深度可分离卷积模块MDConv (Mixed Depthwise Convolutional Kernel)旨在将不同的卷积核尺寸融合到一个单独的卷积操作，使其可以易于获取具有多个分辨率的不同模式，其中MDConv卷积操作具有多个设计选择：

（2.1）组大小g：决定了用于一个单独输入张量的不同类型卷积核的个数，在的极端情况，MDConv等同于普通深度卷积，在时，MDConv可以提高模型的准确性和效率；

（2.2）每个组的卷积核尺寸：限制卷积核尺寸通常从开始，每组单调增加2，的卷积核尺寸通常为；例如，一个4组的MDConv通常使用的卷积核尺寸为，在此限制下，每个组的卷积核尺寸相对于其组大小已经预定义，因而简化了设计过程；

（2.3）每个组的通道大小：采用两种通道划分方法：(a) 等分：每组通道的数目一致；(b) 指数划分：第通道数占总通道数的，例如，一个4组MDConv共有32个通道，等分将通道划分为，而指数划分将通道划分为。