[发明专利]基于CRAFT和SCRN-SEED框架的自然场景文字检测识别方法

说明书

本发明公开了基于CRAFT和SCRN‑SEED框架的自然场景文字检测识别方法，包括如下步骤：(1)利用真实数据集和合成数据集建立图像数据集，将图像数据集分为训练集和测试集；(2)利用图像数据集训练CRAFT网络；(3)利用真实数据集训练不规则文本纠正网络SCRN；(4)将SCRN与SEED网络结合，训练结合后的SCRN‑SEED网络；(5)将CRAFT网络与SCRN‑SEED网络连接，构建完整的模型并进行训练。本发明能够充分检测弯曲变形文本或长篇文本实例，通过精确地定位每一个字符，然后再把检测到的字符通过亲和力机制连接成一个文本达到检测的目的，对于弯曲、变形或者极长的文本都适用；通过不规则文本图片的矫正以及将语义信息用于全局信息的检测，能够精确的识别低质量的文本实例。

技术领域

本发明涉及文字检测方法技术领域，特别涉及基于CRAFT和SCRN-SEED框架的自然场景文字检测识别方法。

背景技术

光学字符识别(Optical Character Recognition，OCR)传统上指对输入扫描文档图像进行分析处理，识别出图像中的文字信息，此类技术假设输入图像背景干净、字体简单且文字排布整齐，在符合要求的情况下能够达到较高的识别水平。而场景文字识别(SceneText Recognition，STR)指识别自然场景图片中的文字信息，其难度远大于扫描文档图像中的文字识别，自然场景文字展现形式极其丰富，可能存在以下多种情况：文本行有横向、竖向、弯曲、旋转、扭曲等多种式样；图像中的文字区域产生残缺、模糊等现象；背景多样，如文字出现在平面、曲面或褶皱面，文字区域附近有复杂的干扰纹理，或非文字区域有近似文字的纹理，比如沙地、草丛、栅栏、砖墙等。

基于神经网络的场景文本检测方法取得了较好的效果，在检测和识别中远超传统技术，但仍然不能很好的解决自然场景中出现的弯曲、模糊干扰纹理等问题。现有的自然场景文字检测方法存在以下问题：文字定位不精确，传统文本定位模型框架，大多关注整行文本，需要很大的感受野，且采用单一的矩形框来标注文本所在位置，这对于弯曲、变形或者极长的文本不太适用，难以精确定位标注；文字识别不准确，提出的许多基于编码器-解码器框架的识别方法，用于处理弯曲文本，然而其大多基于局部视觉特征，而忽略了全局语义信息，因而，在面对如图像模糊、光照不均和字符不完整等情况时，识别准确度大大降低。

发明内容

发明目的：针对以上问题，本发明目的是提供一种基于CRAFT和SCRN-SEED框架的自然场景文字检测识别方法。

技术方案：本发明的一种基于CRAFT和SCRN-SEED框架的自然场景文字检测识别方法，包括如下步骤：

(1)利用真实数据集和合成数据集建立图像数据集，将图像数据集分为训练集和测试集；

(2)利用图像数据集训练CRAFT网络：

(201)将CRAFT网络进行改进，以ResNet50网络作为主干网络，将合成数据集中的图片输入到改进后的CRAFT网络进行特征提取，输出区域得分和亲和度得分；

(202)根据两项得分通过高斯热力映射进行编码，生成高斯热力图；

(203)根据分水岭算法将输入图片中完整文本切割成单个字符，通过后处理操作将字符生成任意形状文本的多边形；

(203)应用迁移学习的思想，利用预训练模型初始化改进后的CRAFT网络；

(3)利用真实数据集训练不规则文本纠正网络SCRN；

(4)将SCRN与SEED网络结合，训练结合后的SCRN-SEED网络；

(5)将改进后的CRAFT网络、SCRN-SEED网络连接，构建完整的模型并进行训练。

进一步，所述应用迁移学习的思想，利用预训练模型初始化改进后的CRAFT网络的步骤包括：