[发明专利]一种文本识别方法、装置、设备及介质

权利要求书

1.一种文本识别方法，其特征在于，包括：

获取包含目标语句的待处理图像；所述目标语句由多个初始字符组成；

基于所述待处理图像，获取一组字符图像以及与所述目标语句对应的生成语句；其中，每张字符图像包括一个初始字符；

对各字符图像进行特征提取，得到各初始字符对应的图像特征；

对所述生成语句进行特征提取，得到所述生成语句中各字符对应的文本特征；

基于所述图像特征和所述文本特征，得到所述目标语句的文本识别结果。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取图文处理网络，所述图文处理网络的输入为所述字符图像和所述生成语句，输出为所述文本识别结果。

3.根据权利要求2所述的方法，其特征在于，所述图文处理网络包括：图像特征提取模块；所述对各字符图像进行特征提取，包括：

通过所述图像特征提取模块分别对各字符图像中的初始字符进行形状特征的提取。

4.根据权利要求2所述的方法，其特征在于，所述图文处理网络包括：文本特征提取模块；所述对所述生成语句进行特征提取，包括：

通过所述文本特征提取模块对所述生成语句进行上下文特征的提取。

5.根据权利要求2所述的方法，其特征在于，所述图文处理网络包括：特征融合模块和分类器；所述基于所述图像特征和所述文本特征，得到所述目标语句的文本识别结果，包括：

通过所述特征融合模块对所述图像特征和所述文本特征进行融合，得到融合特征；

通过所述分类器对所述融合特征进行文本识别，得到所述目标语句的文本识别结果。

6.根据权利要求5所述的方法，其特征在于，所述通过所述特征融合模块对所述图像特征和所述文本特征进行融合，包括：

通过所述特征融合模块按照以下公式对所述图像特征和所述文本特征进行融合，得到融合特征：

其中，g_i表示第i个所述初始字符的图像特征，v_i表示所述生成语句中与第i个所述初始字符对应的生成字符的文本特征，α和β分别表示预设的参数，W表示所述特征融合模块的三维张量参数，b表示所述特征融合模块的偏置项，H（v_i，g_i）表示所述融合特征。

7.根据权利要求5所述的方法，其特征在于，所述通过所述分类器对所述融合特征进行文本识别，得到所述目标语句的文本识别结果，包括：

通过所述分类器对所述初始字符对应的融合特征进行文本识别，得到与所述初始字符对应的目标字符；

根据预设字典获取生成字符的第一置信分值和所述目标字符的第二置信分值；所述生成字符是所述生成语句中与所述初始字符对应的字符；

根据所述第一置信分值和所述第二置信分值确定所述初始字符的字符识别结果；

将多个初始字符的字符识别结果生成所述目标语句的文本识别结果。

8.根据权利要求7所述的方法，其特征在于，所述根据所述第一置信分值和所述第二置信分值确定所述初始字符的字符识别结果，包括：

按照以下公式并根据所述第一置信分值和所述第二置信分值确定所述初始字符的字符识别结果：

其中，o_ik表示所述目标字符的第二置信分值，r_ij表示所述生成字符的第一置信分值，thO_k表示所述目标字符在所述字典中的置信度阈值，thr_j和thrm_j表示所述字典中两个字符之间差异性的区间端点值，j和k分别表示所述生成字符和所述目标字符在所述字典中的索引。