[发明专利]基于深度学习的场景文本识别方法

权利要求书

1.一种基于深度学习的场景文本识别方法，其特征在于，具体按照以下步骤实施：

步骤1，对需要进行场景文本识别的图像P进行处理，利用最大稳定极值区域算法MSER进行文本定位，得到候选文本区域S和该文本区域S的外接矩形G，

步骤2，将步骤1处理得到的定位出的文本区域集合S进行预处理，

步骤3，对卷积深度置信网络进行训练，

步骤4，将经过步骤2预处理后的候选文本区域S输入到步骤3中得到的训练好的卷积深度置信网络模型中进行特征提取，从候选文本区域S中进行学习更多特征矩阵A，

步骤5，将步骤4中学习到的特征矩阵A输入到一个线性的支持向量机中，对候选的文本区域S进行验证，进而过滤掉大量的非文本区域，得到文本区域S′，

步骤6，对步骤5中得到文本区域S′中的字符进行分类识别，

步骤7，将步骤6.2中分类器输出的字符以及每个字符的出现的概率p，根据现有词典库、上下文、字符排布和每个字符最可能出现的概率p等信息对识别结果进行过滤和排序候选结果，得分最高的候选结果被作为最终的输出。

2.根据权利要求1所述的基于深度学习的场景文本识别方法，其特征在于，所述的步骤1具体按照以下步骤实施：

步骤1.1，利用实验效果最好的Canny算子作为边缘增强的方法，经过边缘增强的最大稳定极值区域能分割因模糊而相连的字符像素和分离字符连通区域中的孔洞，即可得到边缘增强处理的候选文本MSER区域图像Q，

步骤1.2，对候选文本MSER区域图像Q，通过距离经过基于距离变换的改进笔画宽度变换法处理，可以得到各个候选文本MSER区域的笔画宽度映射图W，

步骤1.3，利用开操作和闭操作将笔画宽度映射图W中各个候选文本MSER区域进行组合成连通区域，然后得到候选文本区域集合S和候选文本区域的外接矩形集合G。

3.根据权利要求1所述的基于深度学习的场景文本识别方法，其特征在于，所述的步骤2具体按照以下步骤实施：

步骤2.1，进行文本区域的裁剪分割，对最大稳定极值区域MSER提取的文本区域S进行裁剪分割，过滤掉一些很长很细的MSER区域，并得到标准图像块集合I，

步骤2.2，利用开源标定软件LabelImg对步骤2.1.4中得到标准图像块集合I中的每个图像块的文本区域添加Ground truth矩形框标签。

4.根据权利要求3所述的基于深度学习的场景文本识别方法，其特征在于，所述的步骤2.1具体按照以下步骤实施：

步骤2.1.1，通过对文本区域集合S进行连通分析，将得到文本区域集合S中的所有外接矩形G中，外接矩形的高度a与宽度b之比大于10或者小于0.1的文本区域S去除，得到高度a与宽度b之比在0.1到10这个范围的外接矩形G′，

步骤2.1.2，根据先验知识对于任意两个符合长宽之比的外接矩形G_i′、G_j′的文本区域S_i、S_j进行分析的，文本区域S_i、S_j的外接矩形G_i′、G_j′相交的面积与外接矩形G_i′、G_j′相并的面积的比大于0.5时，则去掉文本区域S_i，得到文本区域S_j，

步骤2.1.3，外接矩形G′的宽度b′与高度a′之比大于1.5时，按照高度a′的长来重新划分宽度b′，得到宽度b′和高度a′比小于等于1.5的外接矩形G″，

步骤2.1.4，将外接矩形G″对应的文本区域，裁剪分割成多个像素值为28×28的图像块I，这些分割后的图像块I构成标准图像块集合I。

5.根据权利要求1所述的基于深度学习的场景文本识别方法，其特征在于，所述的步骤3中采用的卷积深度置信网络为两层的卷积深度置信网络，其模型输入层即可见层设置为28×28×3，第一隐含层中含有156个参数，第二隐含层中含有800个参数，池化层的尺寸大小均为2×2，使用sigmoid函数作为卷积深度置信网络的激活函数，利用Dropout技术对隐含层以50％的概率进行随机丢取。