[发明专利]基于结构化神经网络的对话方法、系统、设备及存储介质

说明书

本发明公开一种基于结构化神经网络的对话方法、系统、设备及存储介质，其中，所述方法包括：将接收到的置信对话状态分解成多个子对话状态；所述多个网络结点将所述多个子对话状态转化为对应的多个子对话状态向量；所述多个网络结点中的每一个网络结点分别根据所述多个子对话状态向量确定所述每个网络结点的输出值；根据所述每个网络结点的输出值确定对应于所述置信对话状态的对话动作。本发明由于采用了结构化的神经网络从而使得得到的神经网络对话策略能够更加高效的得到训练，并且仅需要少量的对话交互数据就能够训练得到性能达到较高水平的模型的效果。

本发明要求在2018年04月25日提交中国专利局、申请号为201810378993.4、发明名称为“基于深度强化学习的对话策略的自适应方法”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种基于结构化神经网络的对话方法、系统、设备及存储介质。

背景技术

面向任务的口语对话系统(Spoken Dialogue System，SDS)是一种可以不断与人交互以完成预定义任务的系统，例如，找到一家餐馆或预订航班。对话管理(DM)是SDS的核心。它有两个任务：一个是跟踪对话状态，另一个是根据对话策略决定如何回复用户。在本发明中，我们重点关注对话策略。

对话策略可以简单地看作是从置信对话状态到对话动作的一套人工设定的规则。这被称为基于规则的策略。然而，在现实世界中，不可预测的用户行为，不可避免的自动语音识别以及口语理解错误使得难以准确地知道真实的对话状态并据此做出决策。因此，近年来，出现了统计对话管理的研究趋势。对此，一个比较好的理论框架是部分可观察的马尔可夫决策过程(POMDP)。在基于POMDP的框架下，在每轮对话中系统会估计出一个可能的状态分布-信念状态b。然后，强化学习(RL)方法自动优化策略π，即，从置信状态b到对话动作的a＝π(b)的映射函数。最初，一般采用线性的基于RL的模型，例如，最小二乘策略迭代(LSPI)和自然行动者－评论家(NAC)算法。但是，这些线性模型的表达能力较差，并且受到训练慢的困扰。最近，非参数算法被提出，例如，可以从最少数量的对话中优化策略的高斯过程强化学习(GPRL)。但是，GPRL的计算成本随着数据量的增加而增加。因此，GPRL是否可以扩展以支持大规模的商业应用是值得商榷的。

最近，对话策略采用了深度强化学习(DRL)方法来优化。这些策略通常由全连接的深度神经网络来表示，包括深度Q网络算法(Deep－Q－Networks,DQN)、优势行动者－评论家算法(Advantage Actor－Critic,A2C)。基于DRL的模型往往更具更强的表达能力和更好的计算效率。但是，这些深层模型对于SDS输入模块的错误不鲁棒并且训练不是很高效。因此，最近这方面的进展的重点在于设计改进的RL算法以提高采样效率。

发明人在实现本发明的过程中发现，由于传统对话策略直接用全连接的神经网络表示，没有引入对话任务中特有的结构化信息，训练算法(DQN，A2C)过于简单。因此，训练效率低下，即需要大量的对话交互数据训练才能使模型的性能达到比较好的水平。

发明内容

本发明实施例提供一种基于结构化神经网络的对话方法、系统、设备及存储介质，用于至少解决上述技术问题之一。

第一方面，本发明实施例提供一种基于结构化神经网络的对话方法，所述结构化神经网络包括多个网络结点，所述方法包括：

将接收到的置信对话状态分解成多个子对话状态；

所述多个网络结点将所述多个子对话状态转化为对应的多个子对话状态向量；

所述多个网络结点中的每一个网络结点分别根据所述多个子对话状态向量确定所述每个网络结点的输出值；

根据所述每个网络结点的输出值确定对应于所述置信对话状态的对话动作。