[发明专利]基于众包的交通违法行为标注质量评估系统及评估方法

权利要求书

1.一种基于众包的交通违法行为标注质量评估系统，其特征是：包括违法证据材料处理模块、任务管理模块、用户管理模块 、证据标注模块和质量控制模块；

所述违法证据材料处理模块用于对不同来源的违法证据，进行初步的数据预处理，将数据转换成后续模块容易使用和处理的形式，并打包成证据单元发布到众包平台；

所述任务管理模块的功能包括任务的生成、分发及状态变更；任务管理模块与违法证据材料处理模块相连接，用于依据违法证据材料处理模块的生成的证据单元，将证据单元包装成需要大众参与的众包任务，众包任务类别包括审核认证任务、众包发布任务；

所述用户管理模块，包括系统用户的注册、登陆以及权限管理；

所述证据标注模块，用于为用户提供在线的证据违法行为标注操作界面，用户可进行主观的标注行为，并将各自的标注结果上传；

所述质量控制模块的任务包含用户信誉分评估，用户贡献度计算和证据最终结果锚定；质量控制模块与任务管理模块、用户管理模块、证据标注模块连接，将用户贡献度数据贯穿各个模块，并确保各模块之间数据传递的一致性即证据最终结果的准确性；

所述的质量控制模块的任务包括用户信誉分评估，用户贡献度计算和证据最终结果锚定，对整个众包任务的质量进行整体把关和控制，具体步骤如下：

步骤1，审核员认证，普通用户通过测试任务成为审核员；参与众包任务当用户完成测试任务时，需要对用户的标注准确率进行计算，来判断该用户是否有资格参加众包任务，具体计算公式(1)为

其中precison表示用户在当前测试中的准确率，N_correct为测试中用户正确标注的任务数量；N_test为测试中含有的任务总数；当准确率超过设定的阈值之后则给予用户审核员身份和对应的权限；

步骤2，众包任务初始化，众包平台通过违法证据材料处理模块之后，收集得到证据单元集，进行众包任务的配置工作：设定标注任务批次batch进行打包发布、批次大小batchSize、完成该批次中的一个任务之后用户得到的奖励值reward或惩罚值penalty、此批次需要分发到的审核员人数num；V代表用户完成此批次后获得的奖励值或惩罚值；r是人数系数，与num成负相关，公式如(2)所示：

完成此批次标注任务后，得到总的奖励值V_batch(3)；

V_batch＝∑V (3)

步骤3，证据最终结果锚定，设有N个用户共同参与此batch的标注任务，每个违法种类都有预设的值，对于每个证据单元获取N个用户的标注结果，

按公式(4)依次计算每个违法种类的选择分，将最大选择分的违法行为作为该证据单元的最终结果，对该批次的所有证据单元依次进行该操作，得到该批次所有证据的标注结果；

步骤4，审核员评价，当用户完成一个批次batch后，需要更新当前贡献度和用户信誉分；

P_s代表该批次用户完成的正确率；correctSize代表该批次用户完成正确的任务数量；batchSize代表批次大小(5)；

用户的信誉分Credit代表了其是否能够继续拥有审核员的权限：对于拥有破坏标注正确性行为进行一定信誉分的扣除，当信誉分低于一定阈值后失去审核员身份，需要重新经过认证；审核员的信誉分也会随着参与众包过程而不断增长，具体公式如(6)：

将审核员对于一个证据单元的标注定义为贡献度Contrib，贡献度取决于审核员的信誉分Credit、批次大小batchSize、本批次参与审核员人数num、人数系数r，具体计算公式如(7)：

在每batch开始标注之前，每个审核员都会进行一次(7)计算来确定当前的贡献度Contrib。