[发明专利]一种基于改进CharNet的形状鲁棒性文本检测方法及其系统

说明书

本发明提供一种基于改进CharNet的形状鲁棒性文本检测方法及其系统。步骤1，向CharNet网络输入待检测图像；步骤2，将待检测图像进行骨干网络特征提取后形成特征图；步骤3，将特征图分别输入CharNet网络的两个并行分支，所述两个并行分支包括单字符检测与识别的字符分支和预测文本实例外接框的文本实例检测分支；步骤4，基于单字符检测与识别的字符分支得到字符识别信息；步骤5，基于预测文本实例外接框的文本实例检测分支得到字符位置信息；步骤6，将字符识别信息和字符位置信息进行整合后，得到文本识别结果。用以解决了文本识别中难以辨识的极长文本与任意形状文本问题。

技术领域

本发明属于文字识别领域，具体涉及一种基于改进CharNet的形状鲁棒性文本检测方法及其系统。

背景技术

场景文本识别因在自动化办公、场景理解、自动驾驶等领域无处不在的应用引起了研究学者的重视。近来随着深度学习技术的兴起，通用的目标检测技术得到飞速的发展。然而文本任务的对象与一般检测对象存在显著差异，大多数现有的检测算法仅能在具有规则形状、纵横比受控的环境中获得良好的效果。自然图像文本识别一直被认为是两个连续但独立的问题：文字检测和文字识别。由于深度神经网络的成功，这两个任务都取得了很大的进展。文字检测的目的是对每一个文本实例预测一个文本框。当前最好的文字检测方法都是从目标检测或分割框架扩展而来。基于文字检测的结果，文字识别的目标是从被抠出来的文本图片中识别出一连串字符。一般来说，文字识别被转换为一个序列标记问题，通常用基于卷积神经网络(CNNs)特征的递归神经网络(RNNs)来解决。这种解决方案目前是最好的。然而，通过这样两阶段的方法实现文本识别通常有很多限制。首先，独立地学习这两个任务是一个次优的问题，因为这样很难完全利用文本本身的性质。比如说，联合的文字检测和识别可以提供丰富的上下文信息并且两个任务可以实现互补。最近的工作已经证明这样的联合学习可以提升两者的准确率。第二，两阶段的方法通常需要多个连续的步骤，这样使整个系统变得复杂，并且使得识别结果很大程度上依赖于检测性能的好坏。

近来已经有很多方法尝试去开发一个统一的文字检测与识别框架(端到端检测)，通过添加一个RNN的分支到文字检测模型来实现端到端识别，并且取得了很好的性能。但其本质仍未脱离两阶段检测框架受到的RoI Pooling与RNN的限制，这不可避免的影响了识别的性能。

发明内容

本发明提供一种基于改进CharNet的形状鲁棒性文本检测方法，用以解决了文本识别中难以辨识的极长文本与任意形状文本问题。

本发明提供一种基于改进CharNet的形状鲁棒性文本检测系统，用以解决了文本识别中难以辨识的极长文本与任意形状文本问题。

本发明提供一种电子设备。

本发明提供一种计算机可读存储介质。

本发明通过以下技术方案实现：

一种基于改进CharNet的形状鲁棒性文本检测方法，所述检测方法包括以下步骤：

步骤1，向CharNet网络输入待检测图像；

步骤2，将待检测图像进行骨干网络特征提取后形成特征图；

步骤3，将步骤2的特征图分别输入CharNet网络的两个并行分支，所述两个并行分支包括单字符检测与识别的字符分支和预测文本实例外接框的文本实例检测分支；；

步骤4，基于步骤3的单字符检测与识别的字符分支得到字符识别信息；

步骤5，基于步骤3的预测文本实例外接框的文本实例检测分支得到字符位置信息；

步骤6，将步骤4的字符识别信息和步骤5的字符位置信息进行整合后，得到文本识别结果。