[发明专利]一种基于图像结构信息的OCR数据合成方法

说明书

本发明公开了一种基于图像结构信息的的OCR数据合成方法，其步骤包括：首先收集自然场景图像，建立图像背景库；接着构建图像结构信息预测网络，并对背景图像中的每一张图片都进行预测，构建图像结构信息库；然后统计真实数据中的前景与背景的颜色分布，建立前景背景颜色库；最后根据背景图像的三维信息选择一个合适位置，将文字嵌入到背景图像中去。本发明能快速合成海量的逼真文本图像，并解决OCR领域训练数据匮乏的问题，从而提升文本检测与识别模型的准确率与鲁棒性。

技术领域

本发明涉及光学字符识别领域的相关问题，具体涉及一种基于图像结构信息的OCR数据合成方法。

背景技术

OCR领域主要有两种方法：基于传统算法的OCR方法与基于深度学习的OCR方法。基于深度学习OCR方法无论是准确率还是鲁棒性都大大优于基于传统算法的OCR方法。但前者的准确率非常依赖于大批量的训练样本，而仅仅通过人工标注数据来获得训练样本是不够的，因为OCR需要的数据至少是百万级别的，完全靠人为标注是不现实的。

另外OCR对训练样本的丰富性要求很高，而目前的一般OCR数据合成方法都是在背景图像上直接嵌入文字，不能充分利用背景图像的三维空间信息以及结构信息，导致合成出来的图像不逼真。

发明内容

本发明克服了现有技术的不足之处，提供一种基于图像结构信息的的OCR数据合成方法，以期能充分利用背景图像的结构信息来合成海量逼真的文本图像数据，从而提升文本检测与识别模型的准确率与鲁棒性。

本发明为达到上述发明目的，采用如下技术方案：

本发明一种基于图像结构信息的OCR数据合成方法的特点在于，包括以下步骤：

步骤1：收集自然场景图像，用于建立图像背景库；

步骤2：构建图像结构信息预测网络SN，包括：编码模块Encoder，快速特征融合模块FM，结构预测模块Decoder；

所述编码模块Encoder，包含：4n个卷积层，n个最大池化层；

所述快速特征融合模块FM，包含4个卷积层，4个上采样层；

所述结构预测模块Decoder，包含3a个卷积层；

步骤3：将图像背景库中的每一张背景图片均输入图像结构信息预测网络SN中进行预测，得到对应的结构信息；

步骤3.1：将一张背景图片X送入编码模块Encoder中，每经过n层卷积后再经过一个最大池化层的下采样处理，从而经过4n个卷积层以及n个最大池化层处理后，得到四组特征图F₁、F₂、F₃、F₄，尺寸分别为其中，H和W是背景图片X的高与宽；

步骤3.2：将四组特征图F₁、F₂、F₃、F₄送入快速特征融合模块FM中，从而利用式(1)-(5)进行快速的特征融合，得到多种尺度的融合特征F_fuse：

F_fuse＝Conv(F₁^up) (1)

式(1)中：Conv表示卷积层操作，F₁^up表示第二组特征图F₂与第一组特征图F₁的融合特征，并有：

式(2)中：Up表示上采样层操作；表示第三组特征图F₃与第二组特征图F₂的融合特征，并有：