[发明专利]一种众包任务工作组确定方法

说明书

本发明实施例提供一种众包任务工作组确定方法、装置、电子设备和可读存储介质，其中方法包括：计算所述工作者的准确率的先验概率分布；确定向所述工作者所分配的测试任务的测试结果；计算所述工作者的准确率的后验概率；确定是否选择所述工作者加入候选工作者集合；从所述候选工作者集合中选择多个工作者，确定由所述多个工作者组成的众包任务工作组。本发明实施例提供的众包任务工作组确定方法、装置、电子设备和可读存储介质，结合工作者的准确率的先验概率以及工作者在测试任务中的表现，基于工作者的准确率的后验概率来评估工作者是否符合众包任务的需要，使得众包任务工作组的确定更加准确。

技术领域

本发明涉及互联网领域，尤其涉及一种众包任务工作组确定方法、装置、电子设备和可读存储介质。

背景技术

众包是指雇佣方通过互联网将工作分配给由多个外部工作者所组成的工作组的工作模式，其中一种典型的众包任务为信息标注任务，用于在信息检索、机器学习等研究领域为雇佣方构建语料库。

雇佣方在为众包任务选取工作者时会对工作者的工作准确率进行评估。然而现有的评估方式往往仅通过发布给工作者的少量测试任务来确定，导致评估准确性较低，使得所组建的工作组无法满足众包任务的需要。

发明内容

针对现有技术存在的上述至少一个技术问题，本发明实施例提供一种众包任务工作组确定方法、装置、电子设备和可读存储介质。

第一方面，本发明实施例提供一种众包任务工作组确定方法，包括：

根据工作者的历史众包任务完成质量，计算所述工作者的准确率的先验概率分布；

确定向所述工作者所分配的测试任务的测试结果；

基于所述先验概率分布和所述测试结果，计算所述工作者的准确率的后验概率；

根据所述众包任务的预期准确率和所述工作者的准确率的后验概率，确定是否选择所述工作者加入候选工作者集合；

从所述候选工作者集合中选择多个工作者，确定由所述多个工作者组成的众包任务工作组；

根据所述众包任务工作组中每一工作者的历史众包任务完成质量，更新所述众包任务工作组中的每一工作者的后验概率，并更新所述众包任务工作组中的工作者。

可选地，所述基于所述众包任务工作组中每一工作者的历史众包任务完成质量，更新所述众包任务工作组中的每一工作者的后验概率，并更新所述众包任务工作组中的工作者，具体包括：

根据预设的时间间隔，基于所述众包任务工作组中每一工作者的历史众包任务完成质量，更新所述众包任务工作组中的每一工作者的后验概率；

根据更新后的所述众包任务工作组中的每一工作者的后验概率，筛选所述众包任务工作组中的工作者；

从所述候选工作者集合中选择工作者加入所述众包任务工作组。

可选地，所述根据工作者的历史众包任务完成质量，计算所述工作者的准确率的先验概率分布，具体包括：

根据工作者的历史众包任务完成质量，确定所述工作者的历史众包任务完成质量的期望和方差；

根据所述工作者的历史众包任务完成质量的期望和方差，确定所述工作者的准确率的先验概率分布。

可选地，所述工作者的准确率的先验概率分布符合Beta分布；

对应地，所述根据所述工作者的历史众包任务完成质量的期望和方差，确定所述工作者的准确率的先验概率分布，具体包括：

将所述工作者的历史众包任务完成质量的期望和方差表示为Beta分布的形式；