[发明专利]一种基于定位字符的分类判别强化分离的方法

权利要求书

1.一种基于定位字符的分类判别强化分离的方法，其特征在于，具体包括以下步骤：

(1)字符定位：通过字符连通域算法或目标识别检测YoLo v3算法对文本图片中的文本字符进行定位处理，获取所述文本字符的定位坐标；

(2)字符分类：采用DenseNet网络进行文本字符的多特征提取，再对提取到文本字符特征用于文本字符的分类，最后对分类的文本字符进行样本收集和标注；

(3)特征提取：根据步骤(2)获得的样本，进行像素级特征提取；

(4)强化分离：利用手写印刷的字符分类器对输入的字符图片进行多特征提取和分类，将分类得到的重叠混合字符再做强化分离，得到像素级的分类结果，并结合所述分类器已有的分类结果；直接从所述步骤(1)中的文本图像中对定位的印刷体字符从像素层面将其灰度值全部设置为白色，将印刷体字符去除，只保留手写体字符，强化分离手写体字符和印刷体字符；

所述步骤(1)中采用目标识别检测YoLo v3算法对图片中的文本字符进行定位处理的具体步骤为：

S1-1：对图片中的每个文本字符进行标注；

S1-2：通过DarkNet53网络对每个文本字符进行特征提取；并采用不同尺度的特征图对提取的特征进行目标检测；

S1-3：将DarkNet53网络产出的不同尺度的所述特征图作为输入，以FPN(featurepyramid networks)算法作为参考，通过卷积层和上采样对不同尺度的特征图进行融合，从而实现快速的对图片中的每个字符进行定位和检测；

所述步骤(1)中采用所述字符连通域算法对图片中的文本字符进行定位处理的具体步骤为：

S11：按行和列遍历图片中第一个有像素值的点P(x,y)，并赋予其一个标注label，然后将与像素点相邻的所有前景像素都压入栈中；

S12：弹出栈顶像素，赋予其相同的标注label，然后再将与所述栈顶像素相邻的所有前景像素都压入栈中，重复此步骤，直至栈为空，便得到了图片中的某一个连通区域；

S13：重复步骤S11和步骤S12，完成整张图片的遍历，最终可得到所有文本字符的连通区域，从而实现文本字符的定位。

2.根据权利要求1所述的基于定位字符的分类判别强化分离的方法，其特征在于，所述步骤(2)中的将文本字符分成三种类别：印刷体字符、手写体字符和重叠混合字符。

3.根据权利要求2所述的基于定位字符的分类判别强化分离的方法，其特征在于，所述步骤(2)具体步骤为：

S21：采用DenseNet网络进行文本字符的多特征提取，网络提取特征使用了3个densblock，特征图层的增长率k设置为3，每个dens block均采用3*3的卷积核进行卷积，且每个dens block前又添加了一层1*1的卷积操作，并将提取到的文本字符根据特征分成印刷体字符、手写体字符和重叠混合字符；

S22：对所述步骤S21中的所述印刷体字符、手写体字符和重叠混合字符分别进行样本收集和标注，其中重叠混合字符则采用图片合成技术生成其样本。

4.根据权利要求3所述的基于定位字符的分类判别强化分离的方法，其特征在于，所述步骤S22中所述重叠混合字符则采用图片合成技术生成其样本的具体步骤为：

S221：将手写体文本字符图片和印刷体文本字符图片的大小调整为相同大小；

S222：对步骤S221中调整大小后的图片做二值化处理，再对处理后的图片做“或”运算保留其有效像素位；

S223：根据二值化处理后的合成图，筛选出有效像素位，再从文本字符的原始图的对应位置选取合成图像素值，从而得到重叠混合的文本字符图。

5.根据权利要求4所述的基于定位字符的分类判别强化分离的方法，其特征在于，所述步骤(3)中使用深度学习神经网络FCN进行多层卷积后，提取到所述印刷体字符和所述手写体字符的像素级特征。

6.根据权利要求4所述的基于定位字符的分类判别强化分离的方法，其特征在于，所述步骤S222中的二值化处理具体过程为：设定全局阈值128，将大于128的像素群像素值设定为白色，将小于128的像素群像素值设定为黑色。