[发明专利]一种人工智能数据标注方法和装置

权利要求书

1.一种人工智能数据AI标注方法，其特征在于，所述方法包括：

获取待标注的数据集；

基于建立的AI模型获取每条待标注的数据的概率分值最高的AI标签，以及概率分值；

针对任一待标注数据，确定该概率分值是否大于第一预设阈值；

当确定该概率分值大于第一预设阈值，且确定抽检该待标注的数据，或当确定该概率分值不大于第一预设阈值时，为该待标注数据标注人工标签；

当确定该概率分值大于第一预设阈值，且确定不抽检该待标注的数据时，使用获取的概率分值最高的AI标签标注该待标注的数据；

其中，当确定该概率分值大于第一预设阈值，且确定抽检该待标注的数据时，所述为该待标注数据标注人工标签时，所述方法进一步包括：

当确定该概率分值大于第一预设阈值，且确定抽检该待标注的数据时，确定人工标签与获取的AI标签是否一致，如果是，为该数据设置难度级别为第一级；否则，为该数据设置难度级别为第三级；

当确定该概率分值不大于第一预设阈值时，确定人工标签与获取的AI标签是否一致，如果是，为该数据设置难度级别为第二级；否则，为该数据设置难度级别为第三级；

其中，所述方法进一步包括：

获取设置难度级别为第二级和第三级的数据作为样本，对已建立的AI模型再次进行训练、验证和测试。

2.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：

统计第一准确率和第二准确率；其中，第一准确率为抽样数据中AI标签和人工标签相同的数据条数占总抽样条数的比值；第二准确率为概率分值不大于第一预设阈值的数据的AI标签和人工标签相同的数据条数占概率分值不大于第一预设阈值的数据的比值；

当第一准确率大于第二预设阈值，且第二准确率大于第三预设阈值时，根据第一准确率和第二准确率调整第一预设阈值。

3.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：

确定第一准确率是否大于第四预设阈值，如果是，针对未抽样的数据标注AI标签，并为该数据设置难度级别为第一级；否则，在所有标注的数据中再次抽样，进行人工标注，直到第一准确率大于第四预设阈值；

其中，第一准确率为抽样数据中AI标签和人工标签相同的数据条数占总抽样条数的比值。

4.根据权利要求1-3任一项所述的方法，其特征在于，已建立的AI模型为M个，M为大于0的整数。

5.根据权利要求4所述的方法，其特征在于，所述基于建立的AI模型获取每条待标注的数据的概率分值最高的AI标签，以及概率分值，包括：

针对所述待标注的数据基于建立的M个AI模型分别获得该模型对应的每个AI标签对应的概率分值，并将每个标签对应的概率分值归一化为一个归一化概率分值作为该AI标签对应的概率分值；

获取该条待标注的数据的概率分值最高的AI标签，以及概率分值。

6.根据权利要求4所述的方法，其特征在于，针对每个AI模型的建立，包括步骤：

获取训练样本集、验证样本集、模型测试样本集和灰度测试样本集；

基于所述训练样本集建立初始AI模型；

基于所述验证样本集调整所述初始AI模型的超参数；

基于所述模型测试样本集获取调整超参数的初始AI模型的评测指标；

若确定获取的评测指标对应的值均满足预设指标条件，则基于所述灰度测试样本集采用PSI指标评测调整超参数的初始AI模型的稳定性；

若评测的稳定性满足预设稳定条件，则将调整超参数的初始AI模型作为已建立的AI模型；

若确定获取的评测指标对应的值不满足预设指标条件，或评测的稳定性不满足预设稳定条件，则再次建立初始AI模型。

7.根据权利要求6所述的方法，其特征在于，所述基于所述训练样本集建立初始AI模型，包括：

当所述训练样本集中的样本条数大于预设值时，使用深度学习算法建立初始AI模型；否则，使用机器学习算法建立初始AI模型。

8.一种人工智能数据AI标注装置，其特征在于，所述装置包括：第一获取单元、第二获取单元、确定单元和标注单元；

所述第一获取单元，用于获取待标注的数据集；

所述第二获取单元，用于基于建立的AI模型获取所述第一获取单元获取的数据集中的每条待标注的数据的概率分值最高的AI标签，以及对应的概率分值；

所述确定单元，用于针对任一待标注数据，确定所述第二获取单元获取的该概率分值是否大于预设阈值；

所述标注单元，用于当所述确定单元确定该概率分值大于预设阈值，且确定抽检该待标注的数据，或当确定该概率分值不大于预设阈值时，为该待标注数据标注人工标签；当确定该概率分值大于预设阈值，且确定不抽检该待标注的数据时，使用获取的概率分值最高的AI标签标注该待标注的数据；

其中，所述标注单元，进一步用于当确定该概率分值大于第一预设阈值，且确定抽检该待标注的数据，为该待标注数据标注人工标签时，当确定该概率分值大于第一预设阈值，且确定抽检该待标注的数据时，确定人工标签与获取的AI标签是否一致，如果是，为该数据设置难度级别为第一级；否则，为该数据设置难度级别为第三级；当确定该概率分值不大于第一预设阈值时，确定人工标签与获取的AI标签是否一致，如果是，为该数据设置难度级别为第二级；否则，为该数据设置难度级别为第三级；获取设置难度级别为第二级和第三级的数据作为样本，对已建立的AI模型再次进行训练、验证和测试。