[发明专利]样本标注资源分配方法、装置及应用

说明书

本申请提出了一种样本标注资源分配方法、装置及应用，预设标注人数，针对样本集中的任一交易样本，从标注员列表中选择数量为预设标注人数的多个标注员生成标注员集合，并分配给标注员集合中每一标注员进行标注得到标注结果；记录所有标注员对交易样本的标注完成时间，取最晚时刻的标注完成时间作为标注结果进入审核节点的审核开始时间；将每相邻两个审核开始时间之间的时间间隔与历史审核间隔进行计算，得到审核资源闲置程度；根据审核资源闲置程度调整标注人数，并基于调整后的标注人数重为剩余交易样本生成标注员集合。通过本发明，能够基于多种类的风控规则自动进行样本标注资源分配，替代了现有的人为甄别方式，因此准确率和效率更高。

技术领域

本申请涉及数据标注领域，特别是涉及样本标注资源分配方法、装置及应用。

背景技术

伴随着网上金融业务的迅速发展，相关交易量迅速增长的同时，异常交易也出现得越来越多。异常交易不仅给用户自身造成巨大损失的，并且严重破坏金融秩序，伤害金融机构信誉，在社会造成了极坏的影响。

目前人工智能快速发展，异常交易的识别已从人工识别逐渐转换为了模型自动识别，而模型识别中数据标注是一项基础但重要程度高的工作。标注准确性会直接影响模型的识别精度。传统的标注任务分派策略只是将标注任务分配给单个标注员，一旦出现标注结果的大量误判现象，会对后续模型训练带来负面影响。

虽然现有技术中也出现将同一标注任务分配给多个标注员，并通过审核员对最终的标注结果进行审核的手段，但该手段在实际应用中会产生问题：首先是额外分配审核员会产生用人成本；其次，目前同一标注任务分配的标注员数量是人为设定的，若人数设置过多，则相当于额外增加了几倍的标注量，那么标注的效率势必会下降；若人数设置过少，意味着配合标注效率提高，那么审核效率势必也要提高，否则会产生审核任务堆积情况，而提高审核效率会增加额外的计算成本（如安排多个审核员）。

换言之，对同一标注项目的标注人数的选择会直接影响审核效率以及审核成本，而现有技术中都采样人为设定标注员数量的方式，因此针对如何根据审核效率来动态调整同一标注项目的标注人数，目前尚未得到有效解决方案。

发明内容

本申请实施例提供了一种样本标注资源分配方法、装置及应用，能够解决现有技术中如何对标注资源进行分配的问题，本方案根据标注效率也快，则审核队列中的标注结果积压越多的特性，通过控制审核节点中审核资源闲置程度来动态调整每一交易样本的标注人数，从而在提高标注准确率和提高审核效率之间达到动态平衡。

第一方面，本申请实施例提供了一种样本标注资源分配方法，所述方法包括：获取样本集以及标注员列表；预设标注人数，针对样本集中的任一交易样本，从标注员列表中选择数量为预设标注人数的多个标注员生成标注员集合，并分配给标注员集合中每一标注员进行标注，得到标注结果；记录所有标注员对交易样本的标注完成时间，取最晚时刻的标注完成时间作为标注结果进入审核节点的审核开始时间；将每相邻两个审核开始时间之间的时间间隔与历史审核间隔进行计算，得到审核资源闲置程度；根据审核资源闲置程度调整标注人数，并基于调整后的标注人数重为剩余交易样本生成标注员集合。

在其中一些实施例中，“根据审核资源闲置程度调整标注人数”包括：预设审核忙碌条件以及审核空闲条件，当审核资源闲置程度满足审核忙碌条件，增加标注人数，并根据增加的标注人数增设标注员对剩余交易样本进行标注；当审核闲置程度满足审核空闲条件，减少标注人数，并根据减少的标注人数精简标注员对剩余交易样本进行标注。

在其中一些实施例中，计算所有未审核的标注结果的时间间隔总和以及待审核数量；计算审核数量与历史审核间隔的乘积与时间间隔总和的差值作为审核资源闲置程度。

在其中一些实施例中，遍历计算所有时间间隔与历史审核间隔的差值，若差值小于第一阈值，记录为审核资源忙碌，若差值大于第二阈值，记录为审核资源空闲；根据所有未审核的标注结果对应的审核资源忙碌和审核资源空闲的计数比值作为审核资源闲置程度。