[发明专利]深度学习系统中数据集标注的管理方法和装置

说明书

本申请公开了一种深度学习系统中数据集标注的管理方法和装置。所述方法包括：在接收到用户标注数据集中数据的操作请求后，输出预先存储的数据集中已标注的数据，其中所述已标注的数据均有对应的基准标注结果，其中所述基准标注结果是经过验证正确性后得到的标注结果；获取所述用户对所述数据集中已标注的数据的标注结果；根据所述用户对已标注的数据的标注结果以及所述基准标注结果，确定是否允许所述用户执行数据集的标注操作。

技术领域

本申请涉及信息处理领域，尤指一种深度学习系统中数据集标注的管理方法和装置。

背景技术

深度学习是机器学习中一种基于对数据进行表征学习的方法。观测值可以使用多种方式来表示，以一幅画为例，观测值可以为每个像素强度值的向量，或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务，例如，人脸识别或面部表情识别等。深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。

深度学习的数据来源是数据挖掘(Data mining)来得到的，数据挖掘是用人工智能、机器学习、统计学和数据库的交叉方法在相对较大型的数据集中发现模式的计算过程。训练数据是指数据挖掘过程中用于训练数据挖掘模型的数据。训练数据选择一般有以下要求：数据样本尽可能大、数据多样化，数据样本质量较高。

在人工智能时代，深度学习作为一种强有力的技术已经开始改变我们生活的方方面面。在深度学习中，拥有数据量大，多样性高，样本质量高的数据集对于深度学习的训练和验证是十分必要的。但是获得高质量的数据集，需要花费大量的人力成本。

发明内容

为了解决上述技术问题，本申请提供了一种深度学习系统中数据集标注的管理方法和装置，能够降低数据集中数据的标注成本。

为了达到本申请目的，本申请提供了一种深度学习系统中数据集标注的管理方法，包括：

在接收到用户标注数据集中数据的操作请求后，输出预先存储的数据集中已标注的数据，其中所述已标注的数据均有对应的基准标注结果，其中所述基准标注结果是经过验证正确性后得到的标注结果；

获取所述用户对所述数据集中已标注的数据的标注结果；

根据所述用户对已标注的数据的标注结果以及所述基准标注结果，确定是否允许所述用户执行数据集的标注操作。

在一个示例性实施例中，所述根据所述用户对已标注的数据的标注结果以及所述基准标注结果，确定是否允许所述用户执行数据集的标注操作，包括：

根据所述数据的基准标注结果，判断所述用户对已标注的数据的标注结果的正确率信息；

将得到的正确率信息与预先设置的正确率阈值进行比较，得到比较结果；

如果比较结果为大于等于所述正确率阈值，则允许所述用户执行数据集的标注操作；否则，拒绝所述用户执行数据集的标注操作。

在一个示例性实施例中，所述根据所述用户对已标注的数据的标注结果以及所述基准标注结果，确定是否允许所述用户执行数据集的标注操作之后，所述方法还包括：

在确定允许对所述数据集进行标注操作之后，获取所述数据集中未标注的数据；

输出所述数据集中未标注的数据，请求所述用户进行标注操作；

在得到所述用户对所述未标注的数据的标注结果后，对所述未标注的数据的标注结果进行验证；

在验证通过后，保存所述用户对所述未标注的数据的标注结果。

在一个示例性实施例中，所述输出所述数据集中未标注的数据，包括：

输出所述数据集中已标注的数据和未标注的数据，其中所述未标注的数据占数据的量总和的比例小于等于m；