[发明专利]一种对话的方法和系统

权利要求书

1.一种训练对话模型的方法，所述对话模型用于引导用户完成业务目标，包括：

获取多轮历史对话；

从所述多轮历史对话中提取多组训练数据，所述多组训练数据中的一组至少包括样本对话当前状态、响应话术、样本对话下一状态和与所述响应话术对应的奖励值；

基于多组所述训练数据迭代更新强化学习模型的参数，使得训练得到的对话模型能够基于任一对话当前状态确定候选话术的收益分值；

与所述响应话术对应的奖励值通过对以下信息对应的分项奖励值进行加权运算得到：

响应话术与样本对话当前状态的相关度、所述业务目标的实现概率、回应于响应话术的历史用户话语的情绪分值、回应于响应话术的历史用户话语的意图类别、以及与所述响应话术相关的对话参与度。

2.如权利要求1所述的方法，所述多组训练数据中的一组还包括：

对话结束标识，用以标识对应的训练数据是否为所属一轮历史对话中的最后一次对话。

3.如权利要求1所述的方法，响应话术与对话当前状态的相关度基于以下方法获取：

利用训练好的语义匹配模型处理所述样本对话当前状态与响应话术，以确定两者之间的语义相关度。

4.如权利要求1所述的方法，业务目标的实现概率基于以下方法获取：

利用训练好的业务目标预测模型处理所述样本对话当前状态和响应话术，以确定业务目标的实现概率；所述业务目标预测模型基于历史对话数据以及历史对话数据与业务目标实现的时间间隔训练获得。

5.如权利要求1所述的方法，回应于响应话术的历史用户话语的情绪分值基于以下方法获取：

利用训练好的情绪识别模型处理回应于响应话术的历史用户话语，以确定所述情绪分值。

6.如权利要求1所述的方法，回应于响应话术的历史用户话语的意图类别基于以下方法获取：

利用训练好的意图识别模型处理回应于响应话术的历史用户话语，以确定所述意图类别。

7.如权利要求1所述的方法，与所述响应话术相关的对话参与度与所述响应话术对应的对话次数正相关。

8.如权利要求1所述的方法，所述基于多组所述训练数据迭代更新强化学习模型的参数，训练得到对话模型包括：

将多组所述训练数据放入经验回放数据集中；

从所述经验回放数据集中随机提取训练数据，并基于off-policy强化学习方法利用所述训练数据更新所述强化学习模型的参数。

9.一种对话的方法，包括：

获取对话上文；所述对话上文至少包括一句用户话语；

基于所述对话上文确定对话当前状态；

基于对话模型获取在所述对话当前状态基础上，一个或多个候选话术的收益分值；其中，所述对话模型为强化学习模型，并通过如权利要求1~8中任一项所述的方法获得；

基于收益分值从所述一个或多个候选话术中确定响应所述对话上文的目标话术。

10.如权利要求9所述的方法，所述收益分值正相关于相应的候选话术使得业务目标实现的概率。