[发明专利]审核过程仿真模型建模方法、装置及电子设备有效
申请号: | 201910960126.6 | 申请日: | 2019-10-10 |
公开(公告)号: | CN110765596B | 公开(公告)日: | 2023-05-26 |
发明(设计)人: | 韩华颂;介静涛;林群伟 | 申请(专利权)人: | 北京字节跳动网络技术有限公司 |
主分类号: | G06F30/20 | 分类号: | G06F30/20;G06Q10/0631 |
代理公司: | 北京风雅颂专利代理有限公司 11403 | 代理人: | 安凯 |
地址: | 100041 北京市石景山区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 审核 过程 仿真 模型 建模 方法 装置 电子设备 | ||
1.一种审核过程仿真模型建模方法,其特征在于,所述方法包括:
设置所述审核过程仿真模型的参数,所述参数包括审核策略、审核员人数以及审核任务;
提供预定数量的带正确答案标签的任务以及带正确率标签的审核员,其中所述正确率标签指示所述审核员的正确率;
根据所述审核策略将所述预定数量的带正确答案标签的任务按顺序随机提供给所述带正确率标签的审核员;以及
根据所述带正确率标签的审核员的正确率确定分配给所述审核员的所述带正确答案标签的任务的审核结果;
所述根据所述带正确率标签的审核员的正确率确定分配给所述审核员的所述带正确答案标签的任务的审核结果,包括:
给定在区间(0,1)内的随机数;
如果所述随机数小于所述带正确率标签的审核员的正确率,则确定所述带正确答案标签的任务的审核结果为正确;并且
如果所述随机数不小于所述带正确率标签的审核员的正确率,则确定所述带正确答案标签的任务的审核结果为错误。
2.根据权利要求1所述的审核过程仿真模型建模方法,其特征在于,所述方法还包括:
在所述带正确答案标签的任务被分配给审核员并确定了所述审核员的审核结果之后,记录所述任务的审核员并更新所述任务的状态,其中所述任务的状态包括:
开启状态,所述开启状态指示所述任务能够被分配给审核员;
解决中状态,所述解决中状态指示所述任务正被审核;
结束状态,所述结束状态指示所述任务已审核结束;
废弃状态,所述废弃状态指示所述任务被废弃;
任务抽中待盲审状态,所述任务抽中待盲审状态指示所述任务有待分配以进行盲审;以及
待质检状态,所述待质检状态指示所述任务有待质检。
3.根据权利要求1所述的审核过程仿真模型建模方法,其特征在于,所述方法还包括:
在根据所述审核策略将所有任务分配给审核员并确定了所述审核员的审核结果之后,计算所述审核策略下的正确率、一致率和耗费人力。
4.根据权利要求3所述的审核过程仿真模型建模方法,其特征在于,所述方法还包括:
在根据所述审核策略将所有任务分配给审核员并确定了所述审核员的审核结果之后,显示所述审核策略下的审核情况,所述审核情况包括所述审核策略下的正确率、一致率和耗费人力。
5.根据权利要求1所述的审核过程仿真模型建模方法,其特征在于,所述审核策略包括以下中的至少一种:
质检,所述质检为按照抽样率随机抽出审核对象分配给不同初审人员进行盲审,并且在初审与盲审结果不一致的情况下将所述审核对象分给有质检权限的人员进行审核;
双审,所述双审与所述抽样率为1的质检等效;
抽检,所述抽检按照所述抽样率进行随机抽检,并将抽检出的任务分配给有抽检权限的人员进行审核;以及
标注,所述标注将任务分配给一个或多个不同的审核人员进行审核。
6.根据权利要求1所述的审核过程仿真模型建模方法,其特征在于,通过如下步骤获得所述审核员的准确率:
获取历史审核员数据,所述历史审核员数据包括审核的准确率;
计算历史审核员数据中的准确率的平均值与方差,并根据计算出的参数对准确率进行建模,以获得审核员的准确率模型。
7.根据权利要求6所述的审核过程仿真模型建模方法,其特征在于,所述提供带正确率标签的审核员,包括:
根据所述审核员人数,利用所述审核员的准确率模型获得所述带正确率标签的审核员。
8.根据权利要求6所述的审核过程仿真模型建模方法,其特征在于,所述审核员包括具有质检权限的审核员和没有质检权限的审核员,并且所述获得审核员的准确率模型,包括:
分别获得所述具有质检权限的审核员的准确率模型和所述没有质检权限的审核员的准确率模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京字节跳动网络技术有限公司,未经北京字节跳动网络技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910960126.6/1.html,转载请声明来源钻瓜专利网。