[发明专利]一种自然场景下端到端文本识别方法

权利要求书

1.一种基于近邻相关性边界优化算法的自然场景下端到端文本识别方法，其特征在于，包括基于近邻相关性边界优化算法的端到端文本识别深度学习框架训练，以及利用训练好的框架对自然场景中文本区域及内容进行端到端识别的测试过程；

所述基于近邻相关性边界优化算法的端到端文本识别深度学习框架训练的具体步骤为：

步骤100，输入自然场景图像、真实标记区域、真实标记串至数据处理平台；

步骤101，对输入自然场景图片做预处理；

步骤102，使用真实标记区域生成真实类图与真实几何图以作为训练监督信息；

步骤103，初始化整个框架的共享特征部分、检测部分、识别部分各部分的权重；

步骤104，在数据处理平台上，使用自然场景图像、真实类图、真实几何图、真实标记串，用端到端的方法训练整个框架；其步骤为：自然场景图像首先经过共享特征部分，得到共享特征图；检测部分利用共享特征图生成检测结果；近邻相关性边界优化算法优化检测结果；作用在共享特征图上的双线性插值将检测区域采样得到识别特征；识别部分利用输入的识别特征得到识别结果；

步骤105，输出并保存框架各部分参数至数据处理平台的存储系统。

2.如权利要求1所述的基于近邻相关性边界优化算法的自然场景下端到端文本识别方法，其特征在于，利用训练好的基于近邻相关性边界优化算法的端到端文本识别深度学习框架，对自然场景中文本区域及内容进行端到端识别的测试，测试具体步骤为：

步骤200，输入自然场景图像至数据处理平台；

步骤201，读取已保存的训练好的框架各部分权重，包括共享特征部分、检测部分、识别部分各部分的权重；

步骤202，自然场景图像首先经过共享特征部分，得到共享特征图；检测部分利用共享特征图生成检测结果；近邻相关性边界优化算法优化检测结果；作用在共享特征图上的双线性插值将检测区域采样得到识别特征；识别部分利用输入的识别特征得到识别结果。

3.如权利要求1所述的基于近邻相关性边界优化算法的自然场景下端到端文本识别方法，其特征在于，所述的基于近邻相关性边界优化算法的端到端文本识别深度学习框架，其中共享特征部分，采用基于残差神经网络的U型框架提取共享特征；U型框架采用第一编码模块与第一解码模块相继连接的方式获得共享特征；

所述第一编码模块包括多层卷积结构以及相邻层的卷积结构间的下采样结构，所述下采样结构用于对相邻层的卷积结构中的上层卷积结构输出的特征图进行下采样并将下采样的特征图输入相邻卷积结构中的下层卷积结构；

所述第一解码模块包括多层卷积结构以及相邻层的卷积结构间的上采样结构，所述上采样结构用于对相邻层的卷积结构中的下层卷积结构输出的特征图进行上采样并将上采样的特征图输入相邻卷积结构中的上层卷积结构。

4.如权利要求2所述的基于近邻相关性边界优化算法的自然场景下端到端文本识别方法，其特征在于，所述的检测部分在共享特征上分别采用数次卷积生成预测的类图与几何图。

5.如权利要求1所述的基于近邻相关性边界优化算法的自然场景下端到端文本识别方法，其特征在于，所述的基于近邻相关性的边界优化算法，考虑了特征图上的点对相近；输入为检测部分预测的类图F_score与几何图F_geo，根据类图与几何图得到的单个文本区域分数阈值s_t，依赖于距离阈值r_t的置信度函数f_c；其步骤为：

步骤501，对于单个文本区域得到只属于该区域，且在类图F_score上的分类概率大于s_t的点集

步骤502，对中每一点p，计算出该点距区域上、右、下、左四个边的距离

步骤503，根据距离以及置信度函数f_c，计算出置信度

步骤504，对中每一点p与几何图F_geo，计算出该点本身预测的区域

步骤505，根据中所有点各自置信度以及预测的区域通过加权平均的过程计算出最终的区域