[发明专利]基于深度强化学习的Web服务众包测试任务分配方法

权利要求书

1.一种基于深度强化学习的Web服务众包测试任务分配方法，其特征在于，包括：

根据众包平台上的工人池和任务池内的数据信息、对深度强化学习的Web服务测试任务分配模型进行训练；

众包平台接收需求者提交的测试任务，使用完成训练的Web服务测试任务分配模型进行测试任务的分配；

工人接受并执行任务、将任务测试结果反馈给众包平台，众包平台将工人反馈的测试结果传送给相应的任务需求者；

所述对深度强化学习的Web服务测试任务分配模型进行训练具体方式为：

将每个测试任务定义为深度强化学习网络的一个状态s、为每个测试任务选择某个测试工人作为一个动作a、将强化学习中的回报值r设置为任务s分配给测试工人a得到的任务完成质量；

设置三项约束条件分别为：测试工人的能力大于测试任务的难度等级，测试任务分配至测试工人需要支付的报酬小于测试任务的最大成本，每个测试工人执行任务的数量小于设定阈值；

将每个测试任务s传递给当前Q值网络，当前Q值网络反馈出使Q值最大的动作a、同时满足三项约束条件，即动作a为当前任务s选择的工人，将当前任务选择的结果作为一个组合(s,a,r,s')存储至回放记忆单元中、其中s'为下一个需要分配的任务；

使用回放记忆单元中的数据对当前Q值网络和目标Q值网络进行参数学习更新：将回放记忆单元中的一条数据(s,a)对传递给当前Q值网络；

当前Q值网络输出其对应的Q值Q(s,a)、并将Q(s,a)传递给DQN误差函数，将回放记忆单元中该条数据中的下一个任务s'传递给目标Q值网络，目标Q值网络输出使s'的Q值最大的动作a'，并将得到的最大Q值MaxQ(s',a')传递给DQN误差函数，将回放记忆单元中该条数据的回报值r传递给DQN误差函数；

误差函数为：

L(θ)＝E[(TargetQ-Q(s,a；θ))²]

TargetQ为目标Q值，且θ为网络参数，Q(s,a；θ)为当前Q值，γ为折扣因子。