[发明专利]面向深度学习OCR识别的字模数据清洗方法、系统及介质有效
申请号: | 202110677674.5 | 申请日: | 2021-06-18 |
公开(公告)号: | CN113434491B | 公开(公告)日: | 2022-09-02 |
发明(设计)人: | 郑传双;樊向东;杨玉 | 申请(专利权)人: | 深圳市曙光信息技术有限公司 |
主分类号: | G06F16/215 | 分类号: | G06F16/215;G06V30/19;G06N3/08 |
代理公司: | 深圳市科吉华烽知识产权事务所(普通合伙) 44248 | 代理人: | 罗修华 |
地址: | 518000 广东省深*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 面向 深度 学习 ocr 识别 字模 数据 清洗 方法 系统 介质 | ||
1.一种面向深度学习OCR识别的字模数据清洗方法,其特征在于,所述方法包括以下步骤:
S1、获取标准字模集;
S2、以所述标准字模集或上一轮清洗后形成的字模数据为数据集,将所述数据集划分为训练集和测试集,通过所述训练集训练选定的深度学习模型,并通过所述测试集对训练后的深度学习模型进行测试,得到训练好的用于识别字模集的深度学习模型;
S3、通过训练好的深度学习模型,对所述标准字模集进行识别,构造出易错字对字典;
S4、通过所述训练好的深度学习模型,对待清洗的真实字模集进行自动识别标注,得到真实字模集识别结果;
S5、通过所述易错字对字典以及字模图像质量评估策略,对所述真实字模集识别结果进行评估,根据评估结果将所述真实字模集中不合格字模剔除,得到新的真实字模集;
S6、以所述新的真实字模集训练选定的深度学习模型,得到新的训练好的深度学习模型;
重复执行上述步骤S4、S5、S6,直到再无字模需要被剔除为止,得到清洗后字模集。
2.根据权利要求1所述的面向深度学习OCR识别的字模数据清洗方法,其特征在于,所述字模图像质量评估策略包括:
对所述标准字模集,统计每个字模不同字体下笔画点数与字模全图像素的比例,得到一个笔画点比集合;
抽取字模笔画的骨架,计算出骨架点数与笔画点数之比,得到骨架笔画点比;以通过笔画点比集合、骨架笔画点比对所述真实字模集识别结果进行评估。
3.根据权利要求1所述的面向深度学习OCR识别的字模数据清洗方法,其特征在于,所述对所述真实字模集识别结果进行评估的步骤中包括:
在评估过程中,计算获得第一候选标注结果与第二候选标注结果;
参考所述第一候选标注结果与第二候选标注结果之间的置信度梯度,对所述真实字模集识别结果进行评估。
4.根据权利要求1所述的面向深度学习OCR识别的字模数据清洗方法,其特征在于,所述将所述数据集划分为训练集和测试集的步骤包括:
从所述数据集中,随机抽取其中70%的字模作为训练集,余下的作为测试集。
5.根据权利要求1所述的面向深度学习OCR识别的字模数据清洗方法,其特征在于,所述S1、获取标准字模集的步骤包括:
通过预设算法生成各种字体的标准字模集,所述预设算法包括:变形、旋转、增加噪点、笔画腐蚀算法中的一种或多种。
6.一种面向深度学习OCR识别的字模数据清洗系统,其特征在于,包括:
标准字模生成模块,用于生成标准字模集;
训练模块,用于以所述标准字模集或上一轮清洗后形成的字模数据为数据集,将所述数据集划分为训练集和测试集,通过所述训练集训练选定的深度学习模型,并通过所述测试集对训练后的深度学习模型进行测试,得到训练好的用于识别字模集的深度学习模型;
OCR易错字对生成模块,用于通过训练好的深度学习模型,对所述标准字模集进行识别,构造出易错字对字典;
自动标注模块,用于通过所述训练好的深度学习模型,对真实字模集进行自动识别标注,得到真实字模集识别结果;
字模标注质量评估与筛选模块,用于通过所述易错字对字典以及字模图像质量评估策略,对所述真实字模集识别结果进行评估,根据评估结果将所述真实字模集中不合格字模剔除,得到新的真实字模集;
所述训练模块,还用于以所述新的真实字模集训练选定的深度学习模型,得到新的训练好的深度学习模型,并重复自动标注模块、字模标注质量评估与筛选模块、训练模块的执行过程,进行迭代,直到无字模被剔除为止,得到清洗后字模集。
7.一种计算机存储介质,其特征在于,所述计算机存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1-5中任一项所述的面向深度学习OCR识别的字模数据清洗方法的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳市曙光信息技术有限公司,未经深圳市曙光信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110677674.5/1.html,转载请声明来源钻瓜专利网。