[发明专利]标注数据确定方法、装置、可读介质及电子设备

说明书

本公开涉及一种标注数据确定方法、装置、可读介质及电子设备，以获得高质量的待标注数据用于模型性能评测。所述方法包括：从候选数据集中获取候选数据；将所述候选数据分别输入至第一文本识别模型和第二文本识别模型，获得第一文本识别模型输出的第一识别结果和第二文本识别模型输出的第二识别结果，所述第一文本识别模型和所述第二文本识别模型均能够识别文本数据是否属于目标类别；根据所述第一识别结果和所述第二识别结果，确定所述候选数据是否符合标注条件，所述标注条件为能够被所述第一文本识别模型和/或所述第二文本识别模型识别为属于所述目标类别；若确定所述候选数据符合所述标注条件，将所述候选数据确定为待标注文本数据。

技术领域

本公开涉及计算机技术领域，具体地，涉及一种标注数据确定方法、装置、可读介质及电子设备。

背景技术

一般情况下，对于分类模型来说，可以从多种评测维度对模型的性能进行评测，其中，评测维度可以例如包括精确率(Precision)、召回率(Recall)、F1值(F1-score)、召回量等。举例来说，在线上模型迭代的过程中，需要对前、后两版模型作出评测，在确认后一版模型在多种评测维度上的表现能够优于前一版模型(也就是当前的线上模型)的情况下，才会将后一版模型投入使用。

通常情况下，在对模型进行评测时，可以通过模型在全量标注过的固定测试集上的分类表现给出相应评测维度下的评测值，而后根据各个模型对应的评测值对各模型在指定评测维度下的性能进行评测。但是，固定评测集与线上实时数据并不是同分布的，因此，通过固定评测集进行评测无法准确反映模型上线后的比较效果。基于上述原因，需要利用与线上实时数据同分布的随机评测集对模型进行评测，但是，线上实时数据更新快、且数据量多，同时，评测集内的数据需要在标注后方可用于对模型进行评测，因此，利用随机评测集对模型进行评测存在标注成本大的问题，且评测的准确性也无法保证。

发明内容

提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

第一方面，本公开提供一种标注数据确定方法，所述方法包括：

从候选数据集中获取候选数据，其中，所述候选数据集为由多个未标注的文本数据构成的集合；

将所述候选数据分别输入至第一文本识别模型和第二文本识别模型，获得所述第一文本识别模型输出的第一识别结果和所述第二文本识别模型输出的第二识别结果，所述第一文本识别模型和所述第二文本识别模型均能够识别文本数据是否属于目标类别；

根据所述第一识别结果和所述第二识别结果，确定所述候选数据是否符合标注条件，其中，所述标注条件为能够被所述第一文本识别模型和/或所述第二文本识别模型识别为属于所述目标类别；

若确定所述候选数据符合所述标注条件，将所述候选数据确定为待标注文本数据。

第二方面，本公开提供一种标注数据确定装置，所述装置包括：

第一获取模块，用于从候选数据集中获取候选数据，其中，所述候选数据集为由多个未标注的文本数据构成的集合；

输入模块，用于将所述候选数据分别输入至第一文本识别模型和第二文本识别模型，获得所述第一文本识别模型输出的第一识别结果和所述第二文本识别模型输出的第二识别结果，所述第一文本识别模型和所述第二文本识别模型均能够识别文本数据是否属于目标类别；

第一确定模块，用于根据所述第一识别结果和所述第二识别结果，确定所述候选数据是否符合标注条件，其中，所述标注条件为能够被所述第一文本识别模型和/或所述第二文本识别模型识别为属于所述目标类别；

第二确定模块，用于若确定所述候选数据符合所述标注条件，将所述候选数据确定为待标注文本数据。