[发明专利]一种用于端到端的文字检测与识别的方法和装置

说明书

本申请提供了一种用于端到端的文字检测与识别的方法和装置，所述方法包括：将目标图片输入至特征提取网络，获得所述目标图片对应的共享特征信息；将所述共享特征信息输入至文字检测网络，并获得所述文字检测网络输出的字符检测结果，其中，所述字符检测结果包括字符区域检测结果和字符连接区域检测结果；将所述共享特征信息和所述字符检测结果输入至文字识别网络，获得所述文字识别网络输出的文字识别结果；根据所述字符检测结果和所述文字识别结果生成最终识别结果。根据本申请的方案，能够解决现有注意力网络可能存在的预测区域与实际区域未对准的问题，且能够更好的将文字检测系统与文字识别系统相融合。

技术领域

本申请涉及计算机技术领域，尤其涉及一种用于端到端的文字检测与识别的技术方案。

背景技术

自动文本的检测与识别算法要求模型能够在自然图像中同时进行文本的定位和文字的识别，这项任务在许多实际应用中起着至关重要的作用，例如在自动驾驶、图像检索、工业自动化等领域的很多场景下，均需要文本的检测与识别。现有技术中，相关领域的学者提出了很多方法来解决这个任务，它们可以分为两类：端到端和两阶段(Two-stage)。然而，传统方案中，普遍将文本的检测与识别当作两个独立的任务分开运行，具体的步骤如下：检测模型首先在图像中定位文本实例，之后识别模型对检测到的文本区域进行解码。

图1示出了传统Two-stage的文字识别系统流程，具体如下：输入图片(Image)，先经过第一个Feature encoder(特征提取器)进行第一次特征抽取，然后进行文本检测(Textdetection)获得检测结果(Detection results)，之后经过第二个Feature encoder进行第二次特征抽取，再之后进行文本识别(Text recognition)。虽然Two-stage的方案普及了一段时间，但该方案存在如下缺点：1)非端到端系统会导致错误从检测网络传播到识别网络上去，导致所使用的系统不稳定；2)分两步运行的操作需要使用两个独立的特征抽取模型来提取特征(也即两次特征抽取是独立的)，大大增加了计算负担；3)分别优化两个系统会使得最后的文本识别算法存在局部优化问题。因此，为了满足在现实应用中快速执行和高性能的相关要求，业界开始关注端到端文本识别与检测，并且取得了一定的提升。图2示出了现有的端到端的文字识别系统流程，由图2可见，相比图1所示的Two-stage的方案，端到端的文字识别系统仅仅共享检测与识别两个系统的特征抽取分支。尽管端到端的文字检测与识别能一定程度上提升模型的能力，但该方案仍然存在着一些问题，例如，无法很好的处理不规则形状的文本的问题、由于缺少字符位置信息导致现有注意力网络在解决文本识别问题的时候存在着预测的感兴趣区域与实际区域无法对准的问题等。

发明内容

本申请的目的是提供一种用于端到端的文字检测与识别的技术方案。

根据本申请的一个实施例，提供一种用于端到端的文字检测与识别的方法，其中，所述方法包括：

将目标图片输入至特征提取网络，获得所述目标图片对应的共享特征信息；

将所述共享特征信息输入至文字检测网络，并获得所述文字检测网络输出的字符检测结果，其中，所述字符检测结果包括字符区域检测结果和字符连接区域检测结果；

将所述共享特征信息和所述字符检测结果输入至文字识别网络，获得所述文字识别网络输出的文字识别结果；

根据所述字符检测结果和所述文字识别结果生成最终识别结果。

根据本申请的另一个实施例，还提供了一种用于端到端的文字检测与识别的装置，其中，所述装置包括：

用于将目标图片输入至特征提取网络，获得所述目标图片对应的共享特征信息的装置；

用于将所述共享特征信息输入至文字检测网络，并获得所述文字检测网络输出的字符检测结果的装置，其中，所述字符检测结果包括字符区域检测结果和字符连接区域检测结果；