[发明专利]强化学习模型的更新方法和装置

说明书

本说明书实施例提供一种强化学习模型的更新方法和装置。强化学习模型包括第一动作价值网络和第二动作价值网络，分别承担第一比例和第二比例的线上流量，第一比例大于第二比例，方法包括：接收线上的当前问句；以当前问句作为当前状态，利用第一动作价值网络或利用第二动作价值网络得到当前状态对应的动作，以及相应的得到当前状态、动作、奖励和更新状态作为一条记录，将该条记录以一定概率存储；抽取记录，根据该记录对第二动作价值网络进行训练；当确定训练后的第二动作价值网络的效果优于第一动作价值网络时，将第一动作价值网络更新为训练后的第二动作价值网络。能够保证强化学习模型更新后的稳定性和质量。

技术领域

本说明书一个或多个实施例涉及计算机领域，尤其涉及强化学习模型的更新方法和装置。

背景技术

在智能客服中，用户在与机器人交互过程中用户语言口语化、简略化，或者，用户的问题描述不清晰、不准确或者描述冗杂，因此通常需要用户与机器人之间的多轮交互，才能得到用户想要的知识点答案。由于会话中，涉及到大量用户交互反馈，所以可以使用强化学习来建模如何根据用户问句确定知识点相关回答供用户反馈。

由于线上用户问句千变万化，业务变更迅速频繁，用户的问句兴趣点也会随着时间漂移，所以需要对强化学习模型不断更新迭代，以达到最佳效果。现有技术中，强化学习模型的更新方法无法保证更新后的稳定性和质量。

因此，希望能有改进的方案，能够保证强化学习模型更新后的稳定性和质量。

发明内容

本说明书一个或多个实施例描述了一种强化学习模型的更新方法和装置，能够保证强化学习模型更新后的稳定性和质量。

第一方面，提供了一种强化学习模型的更新方法，所述强化学习模型用于机器人客服根据用户问句确定知识点相关回答供用户反馈，所述强化学习模型包括第一动作价值网络和第二动作价值网络，所述第一动作价值网络承担第一比例的线上流量，所述第二动作价值网络承担第二比例的线上流量，所述第一比例大于所述第二比例，方法包括：

接收线上的当前问句；

当所述当前问句被分配给所述第一动作价值网络时，以所述当前问句作为第一状态，根据第一概率和第一动作价值函数选择第一回答作为第一动作；

在所述第一状态执行所述第一动作，获取所述第一状态和所述第一动作对应的第一奖励，以及状态更新后的第一更新状态；

将所述第一状态、所述第一动作、所述第一奖励和所述第一更新状态作为一条记录，以第二概率将该条记录存储在经验回放列表中；

当所述当前问句被分配给所述第二动作价值网络时，以所述当前问句作为第二状态，根据第三概率和第二动作价值函数选择第二回答作为第二动作；

在所述第二状态执行所述第二动作，获取所述第二状态和所述第二动作对应的第二奖励，以及状态更新后的第二更新状态；

将所述第二状态、所述第二动作、所述第二奖励和所述第二更新状态作为一条记录，以第四概率将该条记录存储在所述经验回放列表中；

从所述经验回放列表中抽取记录，根据该记录利用所述第一动作价值函数计算累积奖励，根据所述累积奖励对所述第二动作价值网络进行训练，得到训练后的所述第二动作价值网络；

当确定训练后的所述第二动作价值网络的效果优于所述第一动作价值网络时，将所述第一动作价值网络更新为训练后的所述第二动作价值网络。

在一种可能的实施方式中，所述以所述当前问句作为第一状态，根据第一概率和第一动作价值函数选择第一回答作为第一动作，包括：

以所述当前问句作为第一状态，以所述第一概率根据所述第一动作价值函数选择价值最大的第一回答作为第一动作，以1减所述第一概率的概率随机选择第一回答作为第一动作。