[发明专利]一种基于窗口滑动和卷积神经网络的验证码识别方法

权利要求书

1.一种基于窗口滑动和卷积神经网络的验证码识别方法，其特征在于，包括步骤：

S1：收集需要破解的验证码数据样本，对每张样本图片进行二值化和预处理；

S2：从预处理后的图片中抠出字符，得到相应的字符集；针对字符集中的每个字符，进行不同参数的形状变形，以及添加不同的背景噪声，进而扩充得到该字符对应的训练数据集；

S3：将每个字符对应的训练数据集分别进行卷积神经网络训练，每个字符训练得到一个单字符分类器；

S4：对待识别的验证码图片先进行二值化和预处理，然后进行连通域分割，针对每个连通域，进行窗口滑动，利用S3训练的所有单字符分类器进行分类，取单字符分类器输出概率最大的字符作为最终识别结果。

2.根据权利要求1所述的基于窗口滑动和卷积神经网络的验证码识别方法，其特征在于，所述步骤S1中，采用ostu二值化算法实现二值化，采用基于数学形态学腐蚀膨胀的开操作的方法对验证码图片进行降噪处理。

3.根据权利要求1所述的基于窗口滑动和卷积神经网络的验证码识别方法，其特征在于，所述步骤S2中，扩充得到该字符对应的训练数据集，包括但不限于加噪点、线条，对字符进行平移、扩放、缩放、旋转操作。

4.根据权利要求1所述的基于窗口滑动和卷积神经网络的验证码识别方法，其特征在于，所述步骤S3中，进行卷积神经网络训练的步骤是：

利用每个字符对应的训练数据集，搭建基于LeNet结构的X个卷积层、Y个全连接层的深度学习神经网络模型，采用自适应估计adam算法作为优化算法，模型输出的激活函数为sigmoid，使用交叉熵cross_entropy作为代价函数，进行网络模型的训练，确保单字符分类器准确率达到预设值。

5.根据权利要求4所述的基于窗口滑动和卷积神经网络的验证码识别方法，其特征在于，所述步骤S4中，针对预处理后的待识别的验证码图片，具体执行下述步骤：

(4-1)先对图片进行二值化和预处理，然后基于连通域算法得到k个连通域，过滤连通域内面积小于预设值的噪音区域；

(4-2)判断k是否等于需要识别的字符个数，如果是则执行步骤(4-3)，否则执行步骤(4-4)；

(4-3)直接利用S3训练的单字符分类器模型，分别对每个连通域规范化大小后进行分类识别，取字符分类器输出概率最大的字符作为最终识别结果；

(4-4)对每个连通域进行窗口滑动，并调用单字符分类器识别每个窗口的结果，对概率值结果矩阵使用贪心算法得到最终识别结果。

6.根据权利要求5所述的基于窗口滑动和卷积神经网络的验证码识别方法，其特征在于，步骤(4-1)中的连通域算法采用seed-filling或two-pass连通区域检测算法。

7.根据权利要求5所述的基于窗口滑动和卷积神经网络的验证码识别方法，其特征在于，步骤(4-3)中，对每个连通域规范化大小的步骤是：

(4-3-1)预设每个单字符分类器输入图片的规格，设为H×I；

(4-3-2)把每个连通域用与图像的边平行的最小矩形框切割出来，得到连通块；

(4-3-3)按长边缩放成H个像素点大小并等比例缩放短边；

(4-3-4)连通块按H×I居中摆放并填补空白区域。

8.根据权利要求5所述的基于窗口滑动和卷积神经网络的验证码识别方法，其特征在于，步骤(4-4)中，设定单字符分类器个数为N，对于每一个连通块内部，滑动窗口，每移动1个像素位，运行N个单字符分类器得到N个结果；所有连通域内部滑动窗口的结果拼接起来，得到一个N*M的概率值结果矩阵A，其中M为所有连通域的滑动窗口数总和；对概率值结果矩阵A使用贪心算法，具体过程如下：

(4-4-1)对A的每一列求最大值，并映射回该最大值所归属的字符，则得到M个预测字符的预测序列P，及其对应的概率序列Q；

(4-4-2)建立候选预测序列P’和Q’，其内容为P中所有不连续出现的字符，具体的，如果P中某两个相邻字符是相同的，且他们两是同属一个连通域，则删除第二个字符，Q’中保留概率最大值，最终，得到P’将满足上述描述的字符不连续出现的条件；

(4-4-3)使用贪心算法，按Q’的概率值大到小选择所需预测的P’中的字符，不断选择直到满足所需预测的目标数为止，得到候选结果后，按P’中的下标作为排序，得到模型最终输出结果。