[发明专利]多轮对话管理方法、装置和计算机设备

权利要求书

1.一种多轮对话管理方法，其特征在于，包括：

接收输入的第一对话，并提炼出所述第一对话的结构化信息；

根据所述第一对话的结构化信息，以及所述对话管理组件中的神经网络模型预先学习到的最优化参量，确定与所述第一对话匹配的推理参数信息Q(S,A；θ)，其中，θ为训练优化得到的最优化参量，所述最优化参量根据预设专家知识训练得到，所述专家知识包括预设对话状态下的最优对话决策动作项，S表示对话状态，A表示与所述对话状态对应的对话决策动作项的奖励分布；

根据所述推理参数信息，选择与所述第一对话的结构化信息匹配的第一对话决策动作项，其中，所述第一对话决策动作项为预存的多个对话决策动作项中的任一对话决策动作项；

控制所述第一对话决策动作项决策出与所述第一对话结构化信息匹配的第二对话，并输出所述第二对话。

2.根据权利要求1所述的多轮对话管理方法，其特征在于，所述接收输入的第一对话，并提炼出所述第一对话的结构化信息的步骤之前，包括：

获取初始参数并锁定目标神经网络；

将所述初始参数输入评价神经网络，并根据最小化差量进行参数优化训练得到第一优化参数，其中，所述最小化差量为

L(θ)＝E_S,A～ρ(·)[(reward+gamma·{q,(S_t+1,A_t+1)∈{(S,A)}_最优；

E_S,A～ρ(·)表示平均值，reward是第t+1轮对话的奖励，gamma是折现因子常量，表示第t+1轮对话的对话状态和对话决策动作项属于专家知识中的元素，q为初始化常量；max(Q_target(S_t+1,A_t+1；θ))表示目标神经网络根据专家知识拟合得到(S_t+1,A_t+1)∈{(S,A)}_最优的最大Q值，Q_evaluate(S_t,A_t；θ)表示t轮对话的平均Q值；

将所述第二优化参数输入所述评价神经网络，并在锁定所述目标神经网络的条件下，再次根据所述最小化差量进行参数优化训练得到第三优化参数；

根据所述目标神经网络和所述评价神经网络的参数优化的循环过程,优化至所述评价神经网络优化收敛，得到所述最优化参量。

3.根据权利要求2所述的多轮对话管理方法，其特征在于，所述获取初始参数并锁定目标神经网络的步骤之前，包括：

将所述专家知识中各预设对话状态，以及与各所述预设对话状态分别对应的对话决策动作项组成训练集，输入所述训练集至初始状态的神经网络进行模拟训练，得到初始化参数项；

将所述初始化参数项作为所述初始参数。

4.根据权利要求1所述的多轮对话管理方法，其特征在于，所述对话管理组件中的神经网络模型由双向LSTM和两层网络构成，所述接收输入的第一对话，并提炼出所述第一对话的结构化信息的步骤之前，包括：

获取三个连续的对话轮回，包括位于当前时刻之前的前对话、当前时刻对应的当前对话以及位于当前时刻之后的后对话；

将所述当前时刻之前的前对话、当前时刻对应的当前对话以及位于当前时刻之后的后对话中的对话状态，通过LSTM层进行序列化编码；

将通过LSTM层进行序列化编码后的编码数据，输入至MLP网络进行编码全连接，形成全连接编码，并通过指定函数输出所述全连接编码相对各对话决策动作项的奖励。