[发明专利]利用领域知识微移神经会话式模型

说明书

本公开的示例描述了利用领域知识来影响对神经会话模型中的候选动作模板的选择的系统和方法。更具体地，自然语言规则可以被提供给自然语言规则推理器以偏置对候选动作模板的选择。在一些实例中，自然语言规则可以包括用户输入和系统动作。在其他一些实例中，自然语言规则可以包括先前系统动作和下一个系统动作。偏置向量然后可以影响对一组候选动作模板中的候选动作模板的选择，以基于自然语言规则、候选动作模板、以及用户话语或者其他系统输入来确定最相关的候选动作模板。

背景技术

神经会话(conversation)模型是有吸引力的，因为一个人可以在具有最少标签的情况下直接在对话(dialogue)示例上训练会话式模型。即是说，神经会话模型基于示例的小型集合来学习如何处理会话式对话，提供更容易与之对接、更直觉的、并且相比其他网上机器人(bot)相关的会话式模型开发更快的系统。事实上，在训练神经会话模型时不需要是专家，确切地说，表示针对用户的自然会话的神经会话模型可以利用代表性示例而被构建，并且这样的示例可以以代表示例的方式被提供。然而，相比其他会话式技术，训练神经会话模型经常要求更多的示例。

但是，在少量数据的情况下，这样的模型经常无法泛化测试数据，因为模型倾向于捕获与特定对话示例相关联的虚假特征，而不是语义上有意义的领域知识。为了解决泛化差的问题，先前的技术专注于提供更大的样本集，使得虚假特征在神经会话模型训练期间倾向于不是主导性的。因此，利用大量的对话示例来训练神经会话模型通常允许神经会话模型理解语义信息，使得神经会话模型可以以与人类会预期的更一致的方式来提供更量身定制的响应。然而，收集特定于目标领域的对话示例的大型集合倾向于非常昂贵并且还增加与神经会话模型相关联的训练时间。因此，要求用户在神经会话模型开发过程期间提供成千的对话示例可能是不实际的。

已经关于这些和其他一般考虑做出了本文公开的各方面。而且，尽管可以讨论相对具体的问题，但是应理解，示例不应该限于解决在本公开的背景技术或其他地方所标识的具体问题。

发明内容

本公开的示例描述了系统和方法，该系统和方法提供用于任何人类教导方以自然语言规则的形式来向神经会话模型转移领域知识的能力。即是说，本文所描述的系统和方法可以将领域知识并入神经会话模型，而不是在训练过程期间询问、或者要求大量的对话示例。确切地说，重要的语义信息可以从知识规则被收集，使得：基于作为自然语言规则被并入的领域知识，会话模型可以在所提供的领域知识的方向上被微移或者以其他方式被偏置。因此，神经会话系统可以利用小型对话示例用于初始模型训练以检测重要的特征，同时利用被并入的自然语言规则来最小化虚假特征的影响。因此，自然语言的最小集合可以被提供，这提供了较不昂贵的模型训练过程、更快的模型训练过程、以及较不复杂的系统，避免了与必须以正式语言来表示某事物(诸如领域知识)相关联的巨大困难，而不是利用正式语言来提供领域知识，这会要求专家、增加的成本和潜在增加的开发时间。作为一个示例，要求对于每个领域少于半小时的小数目的简单规则(例如二十个规则或者更少规则)可以被实现。

提供本发明内容以简化的形式介绍了一些概念，这些概念将在一下具体实施方式中被进一步描述。本发明内容不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于协助确定所要求保护的主题的范围。附加的方面、特征和优势将部分地在以下描述中阐述，并且部分地从该描述中将是明显的，或者可以通过本公开的实践而被了解。

附图说明

参考以下附图描述非限制性和非详尽的示例。

图1图示了根据本公开的各方面的会话式系统；

图2图示了根据本公开的各方面的会话式系统的组件；

图3图示了根据本公开的各方面的自然语言规则数据表和/或数据结构的示例配置；

图4图示了根据本公开的各方面的会话式系统的附加细节；

图5图示了根据本公开的各方面的自然语言规则推理的附加细节；