[发明专利]众包质量控制方法、装置、计算机存储介质和计算设备

权利要求书

1.一种众包质量控制方法，包括：

按第一指定比例从所有众包任务中随机抽取数据，并将所抽取的数据复制n份，其中，将所抽取的数据和其复制数据作为冗余数据，未被抽取的数据作为非冗余数据，n为大于或等于2并且小于众包工作单元数量的整数；

将由所述非冗余数据和所述冗余数据组成的总任务分配给众包工作单元进行标注，其中，同一个众包工作单元所分配的任务中不包含重复的冗余数据；

在所有分配的任务被标注完成后，根据在所有分配的任务中的冗余数据的标注结果，通过寻找多数元素的算法得出所述冗余数据的最终答案；

根据所述冗余数据的最终答案对每个众包工作单元的任务中的冗余数据的标注结果进行校验，得出每个众包工作单元在冗余数据上的正确率，并将每个众包工作单元在冗余数据上的正确率作为每个众包工作单元的标注结果的正确率；

根据每个众包工作单元的标注结果的正确率对其完成的众包任务标注结果进行处理。

2.根据权利要求1所述的方法，其中，将由所述非冗余数据和所述冗余数据组成的总任务分配给众包工作单元，包括：

在分配给每个众包工作单元的任务中，按第二指定比例放入所述冗余数据和所述非冗余数据，其中，所述第二指定比例由众包任务的总数量、所述第一指定比例和复制份数n决定。

3.根据权利要求1或2所述的方法，其中，将由所述非冗余数据和所述冗余数据组成的总任务分配给众包工作单元，包括：

将所述冗余数据和所述非冗余数据放入数据池中；

在进行标注时，使每个众包工作单元每次从所述数据池中领取一条数据进行标注，直到所述数据池中所有数据都被标注完成，其中，同一个众包工作单元不会领取到重复的数据。

4.根据权利要求1-3中任一项所述的方法，其中，在每个众包工作单元从所述数据池中领取数据进行标注时，使每个众包工作单元能够一直从所述数据池中领取数据进行标注，直到所述数据池中不再有该众包工作单元未标注过的数据。

5.根据权利要求1-4中任一项所述的方法，其中，还包括：

对于未领取到冗余数据的众包工作单元，对其完成的众包任务的标注结果进行抽样校验，得到该众包工作单元的标注结果的正确率。

6.根据权利要求1-5中任一项所述的方法，其中，所述寻找多数元素的算法包括多数投票算法。

7.根据权利要求1-6中任一项所述的方法，其中，根据所述冗余数据的最终答案对每个众包工作单元的任务中的冗余数据的标注结果进行校验，包括：

将每个众包工作单元的任务中的冗余数据的标注结果与所述冗余数据的最终答案进行比较，判断对错。

8.一种众包质量控制装置，包括：

冗余数据生成模块，适于按第一指定比例从所有众包任务中随机抽取数据，并将所抽取的数据复制n份，其中，将所抽取的数据和其复制数据作为冗余数据，未被抽取的数据作为非冗余数据，n为大于或等于2并且小于众包工作单元数量的整数；

众包任务分配模块，适于将由所述非冗余数据和所述冗余数据组成的总任务分配给众包工作单元进行标注，其中，同一个众包工作单元所分配的任务中不包含重复的冗余数据；

数据答案获取模块，适于在所有分配的任务被标注完成后，根据在所有分配的任务中的冗余数据的标注结果，通过寻找多数元素的算法得出所述冗余数据的最终答案；

冗余数据校验模块，适于根据所述冗余数据的最终答案对每个众包工作单元的任务中的冗余数据的标注结果进行校验，得出每个众包工作单元在冗余数据上的正确率，并将每个众包工作单元在冗余数据上的正确率作为每个众包工作单元的标注结果的正确率；以及

标注结果处理模块，适于根据每个众包工作单元的标注结果的正确率对其完成的众包任务标注结果进行处理。

9.一种计算机存储介质，所述计算机存储介质存储有计算机程序代码，当所述计算机程序代码在计算设备上运行时，导致所述计算设备执行根据权利要求1-7中任一项所述的众包质量控制方法。

10.一种计算设备，包括：

处理器；以及

存储有计算机程序代码的存储器；

当所述计算机程序代码被所述处理器运行时，导致所述计算设备执行根据权利要求1-7中任一项所述的众包质量控制方法。