[发明专利]手写数据生成方法、装置、计算机设备和存储介质

说明书

本发明公开了一种手写数据生成方法、装置、计算机设备和存储介质，获取手写单字数据集；将数据集中的每类字符的图片依次进行编号；对数据集中的每类字符的图片进行图像处理，再进行层次聚类，滤除不符合要求的图片；获取中文语料库，对语料库先分割、切分，再对语料库的语料进行字符数量均衡处理；遍历语料库的每条语料，对每条语料的字符获取单字数据集中的字符图片，并对字符图片进行处理，形成手写数据行，最终形成以行为单位的手写数据集。能够快速生成百万量级的手写文本数据。

技术领域

本发明涉及计算机操作系统领域，尤其涉及一种手写数据生成方法、装置、计算机设备和存储介质。

背景技术

随着深度学习和OCR技术的不断发展与进步，手写识别需求也在不断增加，数据集的质量和数量也直接影响到模型的识别性能。无监督的深度学习对数据标注要求较低，但无法适应大多数工业场景；有监督的深度学习可以满足大多数场景需求，但强依赖于有标注的数据集。因此，真实场景下的手写标注数据变得越来越重要。

传统的手写数据集采用“人工收集—人工处理—人工标注”的方式进行，最常见的例如：MNIST，CASIA-HWDB2.0。根据文字呈现形式，可以将手写数据集分为character-level和page-level两种： character-level表示每个样本包含一个字符，标注就是该字符的类别；page-level则包含一个完整的文本页，标注是每一行的位置以及文本信息。这类数据集一般的生成方式为：(1)召集志愿者书写文本；(2)收集并处理文本图片；(3)人工标注每张文本图片。数据集的特点是：标注准确，数据分布符合场景需求，但标注效率低下、生成周期长、数据量少，难以满足深度学习对数据量的需求。

针对传统人工标注的缺点，一些学者和科研机构尝试利用深度学习的方式来完成数据标注，例如：目标检测领域常使用成熟的预训练模型对特定目标做位置和类别标注，OCR领域使用通用场景模型对特殊场景做标注。利用深度学习的方式能较大程度提升标注效率，它的一般实现方式可以分成两步：(1)收集场景数据；(2)算法辅助人工标注数据。所谓算法辅助人工指的是：在标注时首先利用通用场景算法基于数据粗略标注，然后通过人工手动调整标注，提升标注精度。深度学习智能标注方法的特点是：标注准确，但依赖人工校正导致效率较低，且严格依赖于通用预训练模型。

除了使用已有数据做标注来产生数据集以外，还可以利用GAN (GenerativeAdversarial Networks，生成对抗网络)模型根据标注逆向生成图片，这种方式以深度学习模型作为基础，模型输入是文本类字符串，输出是GAN算法书写的文字图像。该方式生成效率高，但是由于GAN模型的训练较难收敛，其生成的数据质量也参差不齐，同真实人类手写数据有较大差距，难以满足真实场景需求。

发明内容

为了解决手写识别数据集生成效率低下、数据质量难以满足真实场景需求的问题，本发明提供了一种手写数据生成方法、装置、计算机设备和存储介质。

第一方面，本发明提供一种手写数据生成方法，所述方法为：

获取手写单字数据集；所述数据集为字符图片的集合，每类字符对应一个字符索引值，数据集的每类字符包含一定数量的字符图片；每类字符与字符索引值形成字符索引表；

将数据集中的每类字符的图片依次进行编号；

对数据集中的每类字符的图片进行图像处理，再进行层次聚类，滤除不符合要求的图片；

获取中文语料库，对语料库先分割、切分，再对语料库的语料进行字符数量均衡处理；

遍历语料库的每条语料，对每条语料的字符获取单字数据集中的字符图片，并对字符图片进行处理，形成手写数据行，最终形成以行为单位的手写数据集。

进一步地，所述对每条语料的字符获取单字数据集中的字符图片，并对字符图片进行处理，形成手写数据行，包括：