[发明专利]一种对样本进行碎片化标注的方法及装置

说明书

本申请公开了一种对样本进行碎片化标注的方法，包括如下步骤。步骤S10：对监督式机器学习算法的训练数据中的单个样本的输入进行切片。步骤S20：将单个样本的输入的所有切片分发给多个人员并行独立地对每个切片进行标注。步骤S30：将单个样本的输入的所有切片的标注合并，形成单个样本的整体标注，即单个样本的预期输出。上述方法能够实现标注去隐私以及提升标注效率。

技术领域

本申请涉及一种机器学习(machine learning)算法，特别是涉及一种对样本进行标注(label，也称标记)以形成训练数据(training data)的方法。

背景技术

监督学习(supervised learning)是机器学习算法的一个类别，是指从已标注的训练数据中学习出一个函数或模式，该函数或模式能够映射已标注的训练数据中的各个样本的输入和预期输出。训练数据也称训练数据集(training data set)或训练集，是指一组样本，每个样本有输入和人工标注的预期输出。监督学习算法得到的函数或模式可用于预测新的输入的输出。

在对样本进行标注以形成训练数据的过程中，数据安全与隐私保护越来越受关注。一方面，需要保证样本标注去隐私；另一方面，需要保证样本标注的精度与效率。现有的对样本进行标注的方法通常是基于单个样本的整体进行标注，无法满足去隐私的要求；同时，单个样本只能单个人进行标注，导致标注速度缓慢。

发明内容

本申请所要解决的技术问题是提出一种对样本进行碎片化标注以形成训练数据的方法，能够有效达到样本标注去隐私的要求，同时显著提升样本标注的效率。

为解决上述技术问题，本申请提出的对样本进行碎片化标注的方法包括如下步骤。步骤S10：对监督式机器学习算法的训练数据中的单个样本的输入进行切片。步骤S20：将单个样本的输入的所有切片分发给多个人员并行独立地对每个切片进行标注。步骤S30：将单个样本的输入的所有切片的标注合并，形成单个样本的整体标注，即单个样本的预期输出。上述方法能够实现标注去隐私以及提升标注效率。

作为示例，所述步骤S10中，所述监督式机器学习算法用来从图片中识别出文本内容，所述单个样本的输入是包含文本内容的图片。所述步骤S30中，单个样本的整体标注是该图片对应的文本及其位置。

进一步地，所述步骤S10包括如下步骤。步骤S11：对每一样本的输入图片进行光学字符识别以得到该图片中的所有字符及坐标。步骤S12：对于横排文本的图片，利用光学字符识别的结果按照文本行进行分割，得到该图片的所有文本行；对于竖排文本的图片，利用光学字符识别的结果按照文本列进行分割，得到该图片的所有文本列。步骤S13：对于横排文本的图片，将每一文本行按照第一数量的字符进行切片，左右相邻的文本切片之间有第二数量的字符是重叠的；对于竖排文本的图片，将每一文本列按照第一数量的字符进行切片，上下相邻的文本切片之间有第二数量的字符是重叠的；第二数量小于第一数量；每个文本切片保存所属文本行的坐标、该文本切片的首字符的坐标、该文本切片的角度、该切片的类型为文本类型。步骤S14：对该图片根据光学字符识别的结果清除所有识别出的字符，该图片的剩余部分如有通过光学字符识别无法识别的内容，将无法识别的内容单独地或整体生成一个印章切片；每个印章切片保存该印章切片的首字符的坐标、角度、该切片的类型为印章类型；该图片的剩余部分如有光学字符识别遗漏的字符，将遗漏的字符单独地或整体生成一个遗漏切片；每个遗漏切片保存该遗漏切片的首字符的坐标、角度、该切片的类型为遗漏类型。或者，所述步骤S14放在步骤S11之后的任意位置执行。这是步骤S10的一个具体示例。

优选地，所述第二数量不为零且尽可能小。不为零就能处理压线字符，尽可能小用来减少重复标注。