[发明专利]自然场景文字识别方法及装置

说明书

本申请公开了一种自然场景文字识别方法及装置。该方法包括：将获取的自然场景图输入实例分割网络得到掩码图和像素图；根据所述掩码图确定空间变换网络的控制参数；通过设置所述控制参数的空间变换网络将所述像素图变换成纠形图；以及，采用文字识别网络识别出所述纠形图中的文字序列。该装置包括：输入单元、确定单元、变换单元及识别单元。本申请解决了由于自然场景图中文字以外的信息会干扰变换效果造成的文字序列识别准确率低的技术问题。

技术领域

本申请涉及图像识别技术领域，具体而言，涉及一种自然场景文字识别方法及装置。

背景技术

在当前的科技发展潮流下，借助图像识别文字的技术较为常见。主要可以分为光学文字识别、自然场景中的文字识别等。

光学文字识别(OCR)主要面向高清的文档图像，此类技术假设输入图像背景干净、字体简单且文字排布整齐。在符合此前提要求的情况下，训练好的网络模型能够达到很高的识别准确率，并且训练过程较快。

自然场景中的文字识别(STR)主要面向包含文字的自然场景图像，此类技术假设图像背景复杂、字体多样、存在文字区域变形等情况。为了从此类图像中识别文字，当前流行使用基于深度学习网络的技术方法。为了保证所训练网络模型的健壮性，训练数据集中需要大量在各种拍摄角度下采集的变形文字图像，这就间接地导致图像标注工作量很大、并且网络模型训练周期很长。

目前的自然场景文字识别方法中，通常涉及文字检测和文字识别两个模块。其中，文字检测模块负责在原始图像中找到文字区域，文字识别模块负责从文字区域中识别出文字序列。在某些文字识别方法中，还在文字检测和文字识别两个模块中间加入空间变换的模块，该模块负责将检测出的文字区域进行变换，图像被变换后才可以送入识别模块。如果文字区域经过变换后其文字变形程度变小，识别模块中可以更容易得到准确的文字序列识别结果。如果图像变换模块达成预期变换效果，训练集中需要的变形文字图像数量以及对应标注工作量将可以变少，文字识别模块的训练周期也可以变短。

在包含图像变换模块的自然场景文字识别方法中，往往先要在原始文字区域特征图上计算出变换模块的控制参数，然后根据控制参数在文字区域特征图上采样计算出新文字区域特征图。由于原始文字区域特征图中还包含文字块背景信息、以及文字笔画分解等丰富信息，这类信息能一定程度上干扰图像变换模块找到合适的控制参数，从而难以输出变形程度较低的文字区域特征图，进而导致不理想的文字序列识别结果。

针对相关技术中自然场景图中文字以外的信息会干扰变换效果造成的文字序列识别准确率低的问题，目前尚未提出有效的解决方案。

发明内容

本申请的主要目的在于提供一种自然场景文字识别方法及装置，以解决自然场景图中文字以外的信息会干扰变换效果造成的文字序列识别准确率低的问题。

为了实现上述目的，根据本申请的一个方面，提供了一种自然场景文字识别方法。

根据本申请的自然场景文字识别方法包括：将获取的自然场景图输入实例分割网络得到掩码图和像素图；根据所述掩码图确定空间变换网络的控制参数；通过设置所述控制参数的空间变换网络将所述像素图变换成纠形图；以及，采用文字识别网络识别出所述纠形图中的文字序列。

进一步的，将获取的自然场景图输入实例分割网络得到掩码图和像素图包括：获取自然场景图；实例分割网络检测得到读入的所述自然场景图的文本行实例的位置，并输出掩码图；根据所述文本行实例的位置计算出矩形边界框；裁减出所述矩形边界框作为所述像素图。

进一步的，根据所述掩码图确定空间变换网络的控制参数包括：空间变换网络接收所述掩码图，并预测出文本行实例的关键点列表；根据关键点列表计算所述空间变换网络的控制参数。