[发明专利]一种基于整字和偏旁部首的层次化建模方法及系统

权利要求书

1.一种基于整字和偏旁部首的层次化建模方法，其特征在于，包括：

步骤S1：将文本行图像经过卷积神经网络和循环神经网络，得到所述文本行图像的序列特征；

步骤S2：将所述文本行图像的序列特征，输入有注意力机制的整字解码模块，得到整字的上下文特征向量以及整字的解码结果，具体包括：

步骤S21：将所述文本行图像的序列特征，输入如下述公式(1)～(3)所示的有注意力机制的整字解码模块，得到所述整字的上下文特征向量c_t；

e_ti＝o(s_t-1,h_i) (1)

其中，s_t-1为上一刻隐状态，h_i表示所述序列特征的第i帧，o表示点乘操作；α_ti为注意力机制的权重，l为特征向量个数；c_t为所述整字的上下文特征向量；

步骤S22：将上一时刻的输出y_t-1和所述上下文特征向量c_t，经过级联层操作后，再经过分类层，得到当前时刻的所述整字解码结果y_t；

步骤S3：将所述整字的上下文特征向量输入偏旁部首解码模块，得到整字层级下的各个偏旁部首的解码结果，具体包括：

步骤S31：将所述上下文特征向量c_t，输入偏旁部首解码模块，在t时刻的输出为r_t；

步骤S32：r_t经过分类层，得到所述整字的偏旁部首的解码结果；

步骤S33：统计一批次内的每个所述整字对应的偏旁部首拆分的个数，得到的最大个数作为该批次偏旁部首的最大解码长度；

步骤S4：利用置信度得分融合策略，分别计算所述整字的解码结果的置信度和所述各个偏旁部首的解码结果的置信度，并进行融合，得到最终的所述整字的识别结果。

2.根据权利要求1所述的基于整字和偏旁部首的层次化建模方法，其特征在于，所述步骤S1：将文本行图像经过卷积神经网络和循环神经网络，得到所述文本行图像的序列特征，具体包括：

步骤S11：将所述文本行图像进行归一化处理，得到归一化的文本行图像；

步骤S12：将所述归一化的文本行图像输入所述卷积神经网络，得到所述文本行图像的特征向量；

步骤S13：将所述特征向量输入所述循环神经网络，所述文本行图像的序列特征。

3.根据权利要求1所述的基于整字和偏旁部首的层次化建模方法，其特征在于，所述步骤S4：利用置信度得分融合策略，分别计算所述整字的解码结果的置信度和各个所述偏旁部首的解码结果的置信度，并进行融合，得到最终的所述整字的识别结果，具体包括：

步骤S41：判断所述整字解码结果y_t是否为中文，若否，则将y_t作为最终解码结果；若是，则根据公式(4)计算所述整字解码的置信度，并根据公式(5)计算所述偏旁部首解码的置信度，并转至步骤S42；

-log p_i (4)

其中，公式(4)中p_i表示解码得到的第i个字符对应的识别概率；公式(5)中L_i表示第i个字符对应的偏旁部首拆分的个数，表示解码得到的第i个字符的第j个偏旁部首对应的识别概率；

步骤S42：比较所述整字解码的置信度与所述偏旁部首解码的置信度的大小，取置信度较小的结果作为t时刻最终的解码结果；

步骤S43：每个时刻的解码均重复步骤S41～步骤S42，直至达到最大解码长度或者遇到结束符为止。

4.一种基于整字和偏旁部首的层次化建模系统，其特征在于，包括下述模块：

获取文本行图像的序列特征模块，用于将文本行图像经过卷积神经网络和循环神经网络，得到所述文本行图像的序列特征；

获取整字的上下文特征向量以及解码结果模块，用于将所述文本行图像的序列特征，输入有注意力机制的整字解码模块，得到整字的上下文特征向量以及整字的解码结果，具体包括：

步骤S21：将所述文本行图像的序列特征，输入如下述公式(1)～(3)所示的有注意力机制的整字解码模块，得到所述整字的上下文特征向量c_t；

e_ti＝o(s_t-1,h_i) (1)

其中，s_t-1为上一刻隐状态，h_i表示所述序列特征的第i帧，o表示点乘操作；α_ti为注意力机制的权重，l为特征向量个数；c_t为所述整字的上下文特征向量；

步骤S22：将上一时刻的输出y_t-1和所述上下文特征向量c_t，经过级联层操作后，再经过分类层，得到当前时刻的所述整字解码结果y_t；

获取各个偏旁部首的解码结果模块，用于将所述整字的上下文特征向量输入偏旁部首解码模块，得到整字层级下的各个偏旁部首的解码结果，具体包括：

步骤S31：将所述上下文特征向量c_t，输入偏旁部首解码模块，在t时刻的输出为r_t；

步骤S32：r_t经过分类层，得到所述整字的偏旁部首的解码结果；

步骤S33：统计一批次内的每个所述整字对应的偏旁部首拆分的个数，得到的最大个数作为该批次偏旁部首的最大解码长度；

获取识别结果模块，用于利用置信度得分融合策略，分别计算所述整字的解码结果的置信度和所述各个偏旁部首的解码结果的置信度，并进行融合，得到最终的所述整字的识别结果。