[发明专利]文字识别模型的训练方法和识别图像中文字的方法在审
申请号: | 202110587936.9 | 申请日: | 2021-05-27 |
公开(公告)号: | CN113313022A | 公开(公告)日: | 2021-08-27 |
发明(设计)人: | 徐杨柳;谢群义;钦夏孟;章成全;姚锟 | 申请(专利权)人: | 北京百度网讯科技有限公司 |
主分类号: | G06K9/00 | 分类号: | G06K9/00;G06K9/62;G06N3/04 |
代理公司: | 中科专利商标代理有限责任公司 11021 | 代理人: | 吕朝蕙 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文字 识别 模型 训练 方法 图像 | ||
1.一种文字识别模型的训练方法,包括:
以第一目标图像作为第一文字识别模型的输入,获得第一特征图;
以样本图像作为第二文字识别模型的输入,获得第二特征图,其中,所述第二文字识别模型以所述第一文字识别模型作为初始模型;
基于所述第一特征图和所述第二特征图的差异,确定第一损失值;以及
基于所述第一损失值,对所述第二文字识别模型进行训练,
其中,所述第一目标图像与所述样本图像包括相同的文字,且所述第一目标图像以目标格式表示文字。
2.根据权利要求1所述的方法,其中,所述第一文字识别模型包括特征提取层和转换层;
获得第一文字特征包括:以所述第一目标图像作为所述第一文字识别模型中所述特征提取层的输入,获得所述第一特征图;
获得第二文字特征和预测文字包括:以所述样本图像作为所述第二文字识别模型中所述特征提取层的输入,获得所述第二特征图;以及
对所述第二文字识别模型进行训练包括:基于所述第一损失值,对所述特征提取层进行训练,
其中,所述转换层用于基于特征图确定图像中的预测文字。
3.根据权利要求2所述的方法,其中,所述转换层包括基于循环神经网络构建的编码层和解码层;所述方法还包括通过以下方式确定所述样本图像中的预测文字:
以所述第二特征图作为所述第二文字识别模型中所述编码层的输入,获得包含上下文信息的文字特征序列;以及
以所述文字特征序列作为所述第二文字识别模型中所述解码层的输入,获得所述样本图像中的预测文字。
4.根据权利要求2或3所述的方法,其中,所述转换层包括基于注意力机制构建的解码层;确定所述样本图像中的预测文字包括:
基于所述第二文字识别模型中所述解码层的输入信息,采用所述注意力机制获得针对所述输入信息的至少一组权重系数;
基于所述至少一组权重系数分别对所述输入信息进行加权,获得至少一个第一单字特征;以及
基于所述至少一个第一单字特征,确定所述样本图像中的预测文字。
5.根据权利要求4所述的方法,其中,基于所述第一特征图和所述第二特征图的差异,确定第一损失值包括:
针对所述第一特征图和所述第二特征图中的任一特征图,根据获得所述任一特征图的文字识别模型所确定的至少一组权重系数,分别对所述任一特征图进行加权,获得针对所述任一特征图的至少一个第二单字特征;
将所述至少一个第二单字特征输入预定判别器中,获得针对所述任一特征图的概率值;以及
基于针对所述第一特征图的概率值和针对所述第二特征图的概率值,确定所述第一损失值。
6.根据权利要求2所述的方法,其中,所述样本图像具有指示实际文字的标签;所述方法还包括:
基于所述实际文字和所述样本图像中的预测文字的差异,确定第二损失值;
其中,对所述第二文字识别模型进行训练包括:基于所述第二损失值,对所述转换层进行训练;以及基于所述第一损失值和所述第二损失值,对所述特征提取层进行训练。
7.根据权利要求6所述的方法,其中,所述基于所述第一损失值和所述第二损失值,对所述特征提取层进行训练包括:
确定所述第一损失值和所述第二损失值的加权和;以及
基于所述加权和,对所述特征提取层进行训练。
8.根据权利要求1所述的方法,还包括通过以下方式获得所述第一文字识别模型:
将以所述目标格式表示文字的第二目标图像作为训练样本来训练初始文字识别模型,获得所述第一文字识别模型,
其中,所述第二目标图像中的文字包括随机排列的多个文字。
9.一种识别图像中文字的方法,包括:
以待识别图像作为文字识别模型的输入,获得所述文字识别模型输出的文字序列;以及
确定所述文字序列为所述待识别图像中的文字,
其中,所述文字识别模型是采用权利要求1~8中任一项所述的方法训练的第二文字识别模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司,未经北京百度网讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110587936.9/1.html,转载请声明来源钻瓜专利网。