[发明专利]面向深度学习OCR识别的字模数据清洗方法、系统及介质

说明书

本发明公开了一种面向深度学习OCR识别的字模数据清洗方法、系统及介质，通过获取标准字模集；以标准字模集训练选定的深度学习模型，得到用于识别字模集的深度学习模型；通过训练好的深度学习模型，对标准字模集进行识别，构造出易错字对字典；通过训练好的深度学习模型，对待清洗的真实字模集进行自动识别标注，得到真实字模集识别结果；通过易错字对字典以及字模图像质量评估策略，对真实字模集识别结果进行评估，根据评估结果将所述真实字模集中不合格字模剔除，得到新的真实字模集；以新的真实字模集训练选定的深度学习模型，得到新的训练好的深度学习模型；重复执行上述最后三个步骤，直到再无字模需要被剔除为止，可以实现字模数据集的快速标注，提高字模数据的处理效率。

技术领域

本发明涉及深度学习技术领域，尤其涉及一种面向深度学习OCR识别的字模数据清洗方法、系统及介质。

背景技术

在深度学习算法中，需要大量的训练数据，并且需要对这些数据进行标注工作，使之能用于深度学习的模型训练。目前常见的数据集处理模式是：收集数据、人工标注、人工检查、生成数据集。也就是说，当前除了能提供一些标注工具外，标注的信息几乎是人工录入的。

为了制作出高质量的数据集，除了需要有好的技术方案外，还需要投人大量的人工，例如目前最大的图像/视觉类数据集ImageNet，其中有1419万幅带手工标注信息的图象，在167个国家49000人次，历时两年半才得以完成。

当用深度学习算法应用于OCR识别时，由于语种、字体等原因，需要准备大量的字模数据；特别是中文，目前有编码的汉字已经超过了7万，加上各种不同字体、横竖版印刷风格等原因，每个汉字需要收集的字模至少超过1000个，这样一来，需要收集和标注的汉字字模将超过7000万个，差不多是ImageNet的5倍。如果全部用人工标注的方法来做数据集，在时间和资金上的投入将是海量的。

发明内容

本发明的主要目的在于提供一种面向深度学习OCR识别的字模数据清洗方法、系统及介质，可以实现字模数据集的快速标注，提高字模数据的处理效率。

为实现上述目的，本发明提出一种面向深度学习OCR识别的字模数据清洗方法，所述方法包括以下步骤：

S1、获取标准字模集；

S2、以所述标准字模集或上一轮清洗后形成的字模数据为数据集，将所述数据集划分为训练集和测试集，通过所述训练集训练选定的深度学习模型，并通过所述测试集对训练后的深度学习模型进行测试，得到训练好的用于识别字模集的深度学习模型；

S3、通过训练好的深度学习模型，对所述标准字模集进行识别，构造出易错字对字典；

S4、通过所述训练好的深度学习模型，对待清洗的所述真实字模集进行自动识别标注，得到真实字模集识别结果；

S5、通过所述易错字对字典以及字模图像质量评估策略，对所述真实字模集识别结果进行评估，根据评估结果将所述真实字模集中不合格字模剔除，得到新的真实字模集；

S6、以所述新的真实字模集训练选定的深度学习模型，得到新的训练好的深度学习模型；

重复执行上述步骤S4、S5、S6，直到再无字模需要被剔除为止，得到清洗后字模集。

其中，所述字模图像质量评估策略包括：

对所述标准字模集，统计每个字模不同字体下笔画点数与字模全图像素的比例，得到一个笔画点比集合；

抽取字模笔画的骨架，计算出骨架点数与笔画点数之比，得到骨架笔画点比；以通过笔画点比集合、骨架笔画点比对所述真实字模集识别结果进行评估。

其中，所述对所述真实字模集识别结果进行评估的步骤中包括：

在评估过程中，计算获得第一候选标注结果与第二候选标注结果；