[发明专利]利用动态记忆网络来跟踪数字对话状态并生成响应

说明书

本申请的各实施例涉及利用动态记忆网络来跟踪数字对话状态并生成响应。本公开涉及基于由具有动态记忆网络架构的神经网络生成的数字对话状态来生成数字响应。例如，在一个或多个实施例中，所公开的系统将具有一个或多个段的数字对话提供到具有包括一组多个记忆槽的动态记忆网络架构的对话状态跟踪神经网络。在一些实施例中，对话状态跟踪神经网络还包括在修改存储在记忆槽中的值中使用的更新门和重置门。例如，所公开的系统可以利用交叉槽交互更新门/重置门来准确地生成针对数字对话段中的每段的数字对话状态。随后，该系统基于数字对话状态来生成针对数字对话的每段的数字响应。

背景技术

近年来已经看到使用人工智能来促进设备与用户之间的对话的硬件和软件平台的显著改进。例如，许多现代设备提供虚拟助手，利用虚拟助手，用户可以参与问问题或执行搜索查询。这些对话平台中的许多采用在任何给定点处智能地跟踪对话的状态以便根据周围背景确定与特定对话段(例如，语句或问题)相关的响应的系统。例如，对话状态跟踪系统可以根据当前对话段及其周围背景来确定当前对话状态。系统可以然后使用当前对话状态来提供对当前对话段的响应。

尽管这些传统系统可以跟踪数字对话状态以提供数字响应，但是这样的系统具有导致不灵活的、不准确的且低效率的操作的若干技术缺点。例如，传统对话状态跟踪系统常常在以下方面是不灵活的：它们死板地确定对应于当前对话段的当前对话状态而不考虑可能与当前状态相关的相关对话段。具体地，许多传统系统采用对话状态跟踪模型(例如，许多传统系统采用未能保持关于对话的先前段的相关信息的对话状态跟踪模型(例如，神经网络架构，诸如LSTM和GRU))。例如，当模型处理对话的新段时，它们可能利用对应于每个段的新数据连续地更新它们的数据存储。因此，这些模型倾向于排出(即，“忘记”)旧的先前存储的数据，即使该数据仍然是相关的。因此，当用户提供具有由在新段之前的对话的先前段明显地通告的背景的对话的新段时，这些模型可能不考虑这些先前段。

除了灵活性考虑，传统对话状态跟踪系统还是不准确的。例如，传统系统通常很难准确地确定数字对话状态。具体地，因为传统系统常常采用很难保持关于对话的旧段的相关信息(即使当与当前对话状态相关时)的模型，所以这样的系统不能生成基于所有相关信息的数字对话状态。因此，传统系统可以生成未准确地反应真实当前对话状态的数字对话状态预测。

除了灵活性和准确性的问题之外，传统对话状态跟踪系统也是低效率的。具体地，因为传统系统常常不准确地确定数字对话状态，所以这样的系统一般提供对对话段没有帮助的响应，从而要求得出正确响应的额外用户交互。例如，传统系统可以在提供正确响应之前要求用户改述语句或问不同的问题(通常许多次)。由于增加的交互，这样的传统系统常常要求额外的计算资源(例如，处理能力和记忆)以便提供合适的响应。

存在关于传统对话状态跟踪系统的这些以及额外的问题和难题。

发明内容

本文中描述的一个或多个实施例利用基于由具有动态记忆网络架构的神经网络生成的数字对话状态来生成响应的系统、方法、以及非暂态计算机可读存储介质来提供益处并且/或者姐姐本领域的前述问题或其他问题中的一个或多个。例如，在一个或多个实施例中，所公开的系统将具有一个或多个段(例如，语句、问题、等等)的数字对话提供到被训练以生成数字对话状态的对话状态跟踪神经网络。具体地，对话状态跟踪神经网络可以包括具有多个记忆槽的动态记忆网络架构，多个记忆槽中的每个记忆槽编码对应于对话的重要主题(例如，话题、要采取的动作、等等)的潜在表示。在一个或多个实施例中，对话状态跟踪神经网络处理对话的每段以使用门控机制(例如，重置门和更新门)来修改一个或多个记忆槽的值。在一些实施例中，门控机制利用重置门和更新门基于记忆槽与其他记忆槽之间的交叉槽交互来修改记忆槽的值。在处理了数字对话的每段之后，对话状态跟踪神经网络基于最终槽值来确定数字对话状态，并且所公开的系统基于所确定的状态来生成对该段的数字响应。以这种方式，所公开的系统可以灵活地、准确地且高效地生成基于所有相关信息的数字响应。