[发明专利]一种标注策略的选择方法及相关装置

权利要求书

1.一种标注策略的选择方法，其特征在于，包括：

采用多个标注策略对已标注数据集进行模拟标注处理得到对应的训练数据集，对所述训练数据集进行标注准确率计算，得到对应的标注准确率；

将所有所述训练数据集进行监督学习训练，得到对应的识别模型，对每个所述识别模型进行识别准确率计算，得到对应的识别准确率；

将每个所述标注策略对应的标注准确率、识别准确率以及数据量进行回归统计处理，得到对应的回归预测模型；

当获取到标注任务的目前标注准确率、已标注数据量以及预期标注数据量时，利用所有所述回归预测模型根据所述目前标注准确率、所述已标注数据量以及预期标注数据量进行预测计算处理，得到对应的预测识别准确率；

根据所有所述预测识别准确率和预期识别准确率，确定人力成本最小的标注策略作为所述标注任务中使用的标注策略；其中，所述人力成本为根据标注策略中的标注方式和预期标注数据量计算得到的。

2.根据权利要求1所述的选择方法，其特征在于，将每个所述标注策略对应的标注准确率、识别准确率以及数据量进行回归统计处理，得到对应的回归预测模型，包括：

将每个所述标注策略对应的所述标注准确率、所述识别准确率以及所述数据量进行统计，得到开始数据量、结束数据量、标注准确率以及识别准确率之间的对应关系；

将所述对应关系以所述识别准确率为目标值进行回归模型训练，得到每个所述标注策略对应的回归预测模型。

3.一种标注策略的选择装置，其特征在于，包括：

回归模型获取模块，用于采用多个标注策略对已标注数据集进行模拟标注处理得到对应的训练数据集，对所述训练数据集进行标注准确率计算，得到对应的标注准确率；将所有所述训练数据集进行监督学习训练，得到对应的识别模型，对每个所述识别模型进行识别准确率计算，得到对应的识别准确率；将每个所述标注策略对应的标注准确率、识别准确率以及数据量进行回归统计处理，得到对应的回归预测模型；

预测模块，用于当获取到标注任务的目前标注准确率、已标注数据量以及预期标注数据量时，利用所有所述回归预测模型根据所述目前标注准确率、所述已标注数据量以及预期标注数据量进行预测计算处理，得到对应的预测识别准确率；

策略选择模块，用于根据所有所述预测识别准确率和预期识别准确率，确定人力成本最小的标注策略作为所述标注任务中使用的标注策略；其中，所述人力成本为根据标注策略中的标注方式和预期标注数据量计算得到的。

4.根据权利要求3所述的选择装置，其特征在于，所述回归模型获取模块，包括：

数据统计处理子单元，用于将每个所述标注策略对应的所述标注准确率、所述识别准确率以及所述数据量进行统计，得到开始数据量、结束数据量、标注准确率以及识别准确率之间的对应关系；

回归模型训练子单元，用于将所述对应关系以所述识别准确率为目标值进行回归模型训练，得到每个所述标注策略对应的回归预测模型。

5.一种服务器，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至2任一项所述的选择方法的步骤。

6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至2任一项所述的选择方法的步骤。