[发明专利]基于知识增强与上下文感知的对话状态追踪方法及系统

说明书

本发明涉及一种基于知识增强与上下文感知的对话状态追踪方法及系统，该方法包括以下步骤：步骤A：采集对话上下文和对话状态数据，构建对话训练集；步骤B：使用训练集，训练基于知识增强的深度学习网络模型；步骤C：将用户与系统的对话数据依次输入深度学习网络模型中，输出当前的对话状态。该方法及系统有利于提高对话状态追踪的准确性。

技术领域

本发明属于自然语言处理领域，具体涉及一种基于知识增强与上下文感知的对话状态追踪方法及系统。

背景技术

对话状态追踪(Dialogue State Track，DST)，是自然语言处理中任务型对话任务流程中的一个重要组成部分，其基本目标是根据对话上下文得到当前对话状态。对话状态是从对话开始到当前对话的用户目标的总结，通常表现为多组槽-值对的组合的形式，有时也会包括对话所属的领域、用户意图等信息。对话状态跟踪是指结合对话历史、当前对话、前一轮对话状态等信息，推断并更新当前对话状态的过程。随着信息技术发展的不断进步使人们能够在任何时间、地点以无线连接的方式几乎瞬时地访问信息、应用程序和服务。如今，诸如智能手机和平板电脑已经被广泛地用于访问网络。然而，内容的获取通常仅限于通过浏览器，其依靠传统的图形化界面(Graphical User Interfaces，GUIs)。更先进的人机交互方式亟需被提出，比如拥有更智能、直观和轻便的界面，能够以人类语言交流，提供透明且类人的环境。在影视作品中，通常呈现为智能机器人的形式。然而，目前的技术难以实现这种真正意义上的人类智能。因此，能够以自然语言与人类交流的对话系统受到研究者们的青睐。

在深度学习兴起之前，早期对话系统的DST模块都是采用基于规则的方法，它不需要训练数据，直接使用人工规则对对话状态进行更新。但是当数据量增大时，该方法就需要大量的人力来设计规则模板，而这些人工制定的规则很难保证其质量，并且当数据改变时其不具有灵活的可扩展性。这些缺点都限制了基于规则的对话状态追踪模型。

近年来，深度学习方法在自然语言处理的多个领域获得了广泛的应用。深度学习用于对话状态追踪，无需人工进行繁重的规则设计工作，可以自动从对话上下文中提取出语义特征信息。注意力机制以及预训练模型的提出与发展深受工业界和学术界的广泛关注，许多预训练模型如BERT和GPT等在应用于下游任务时表现出不凡的效果。有鉴于此，DST的研究已经转移到在这些强大的预训练模型的基础上构建新的模型。例如，Lee等人提出的SUMBT利用BERT编码后的插槽与对话话语表征通过注意力机制来学习插槽与对话话语之间的关系。CHAN是建立在SUMBT的基础上的，为了更好地利用对话上下文，提出了槽-字注意和槽-回合注意的层级注意力机制。为了更好地模拟预训练过程中的对话行为，TOD-BERT进一步使用多个面向任务的对话数据集对原始BERT模型进行了预训练。SOM-DST将对话状态视为一个显式固定大小的内存，通过分类器有选择地覆盖该内存，以避免从头开始预测对话状态。TripPy使用三种复制机制来提取插槽值。MinTL利用T5和BART作为对话话语编码器，共同学习对话状态和系统响应。NP-DST和SimpleTOD采用GPT-2作为对话上下文编码器，并将DST表示为语言生成任务。

但是，上述方案都只建模了插槽与对话上下文之间的关系而忽略了槽之间的相关性，而多域对话数据中槽值共引现象的存在使得其非常重要。关注槽相关性的研究如CSFN-DST和SST构建了一个模式图来捕获不同槽之间的依赖关系。然而，这些关系需要依靠准确的先验知识来得到。虽然SAS以计算一个槽相似度矩阵来建模槽之间的关系，但是其涉及到几个难以设置的超参数，并且如果认为两个槽是相关的，也仅仅将他们的相似系数固定为1，这显然不太现实。尽管STAR利用多头注意力来发现槽之间的关系，但是注意力机制计算出的槽间关系等同于一个带权的完全图，会产生很多噪声(非必要的连接)影响模型性能。T5-DST利用增强后的槽描述来是的模型更好地发现槽之间的关系，但其未对槽间关系进行显式的建模。

发明内容

本发明的目的在于提供一种基于知识增强与上下文感知的对话状态追踪方法及系统，该方法及系统有利于提高对话状态追踪的准确性。