[发明专利]一种基于整字和偏旁部首的层次化建模方法及系统

说明书

本发明涉及一种基于整字和偏旁部首的层次化建模方法及系统，其方法包括：S1：将文本行图像经过卷积神经网络和循环神经网络，得到文本行图像的序列特征；S2：将文本行图像的序列特征，输入有注意力机制的整字解码模块，得到整字的上下文特征向量以及整字的解码结果；S3：将整字的上下文特征向量输入偏旁部首解码模块，得到整字层级下的各个偏旁部首的解码结果；S4：利用置信度得分融合策略，将整字和各偏旁部首的解码置信度进行融合，得到整字的识别结果。本发明提供的方法，不仅能实现整字的识别，同时实现该时刻偏旁部首的识别，通过整字和偏旁部首解码置信度融合的策略，不仅能够提升低频字的识别效果，同时最大化地保证了非低频字识别的效果。

技术领域

本发明涉及电子信息技术领域，具体涉及一种基于整字和偏旁部首的层次化建模方法及系统。

背景技术

在日常生活中，文字是不可或缺的视觉信息来源。相对于图像/视频中的其他内容，文字往往包含更强的语义信息，因此对图像中的文字提取和识别具有重大意义。随着深度学习的迅速发展，深度学习模型被广泛应用到文字识别领域。但是深度学习模型需要大量的数据进行训练，如果训练样本很少，很难将模型训练好。特别是对于类似于中文这样字符数量较多的语种，存在低频字识别较困难的问题。

现有的针对低频字识别的方案主要基于两个方面，首先是采用语言模型的方案，利用更多的文本语料训练一个语言模型，在语言模型的辅助下实现对低频字的识别，其次是采用偏旁部首建模的方案，即将文字按照偏旁部首进行拆分，比如“科”字，按照偏旁部首拆分，可以得到“禾”、“斗”，其中，表示左右结构。

对于语言模型的方案，低频字的识别过度依赖于语言模型，语言模型的语料选取严重影响低频字的识别效果，对于偏旁部首建模的方案，会造成整字拆分过细，比如“朋”字，拆成“月”、“月”，每个单独的结果都可以认为是一个整字，增加了识别的难度。

发明内容

为了解决上述技术问题，本发明提供一种基于整字和偏旁部首的层次化建模方法及系统。

本发明技术解决方案为：一种基于整字和偏旁部首的层次化建模方法，包括：

步骤S1：将文本行图像经过卷积神经网络和循环神经网络，得到所述文本行图像的序列特征；

步骤S2：将所述文本行图像的序列特征，输入有注意力机制的整字解码模块，得到整字的上下文特征向量以及整字的解码结果；

步骤S3：将所述整字的上下文特征向量输入偏旁部首解码模块，得到整字层级下的各个偏旁部首的解码结果；

步骤S4：利用置信度得分融合策略，分别计算所述整字的解码结果的置信度和所述各个偏旁部首的解码结果的置信度，并进行融合，得到最终的所述整字的识别结果。

本发明与现有技术相比，具有以下优点：

本发明提出一种基于整字和偏旁部首的层次化建模，借鉴了偏旁部首建模的思想，但是与现有的偏旁部首建模方法不同，本发明采用在整字建模的层级下，增加偏旁部首建模分支，每个时刻的上下文特征向量作为该整字下偏旁部首建模的输入，层级化的结构设计，不仅能实现整字的识别，同时实现该时刻偏旁部首的识别，最后通过整字建模置信度和偏旁部首建模置信度融合的策略，不仅能够提升低频字的识别效果，同时最大化地保证了非低频字识别的效果。

附图说明

图1为本发明实施例中一种基于整字和偏旁部首的层次化建模方法的流程图；

图2为本发明实施例中一种基于整字和偏旁部首的层次化建模方法中步骤S1：将文本行图像经过卷积神经网络和循环神经网络，得到所述文本行图像的序列特征的流程图；

图3为本发明实施例中一种基于整字和偏旁部首的层次化建模方法中步骤S2：将文本行图像的序列特征，输入有注意力机制的整字解码模块，得到整字的上下文特征向量以及整字的解码结果的流程图；