[发明专利]基于尾句-上下文双重注意力模型的多轮对话生成方法

说明书

基于尾句‑上下文双重注意力模型的多轮对话生成方法，属于人机对话领域。一个合适的回复应该是符合最后一个句子的语义且能够利用到整个上下文的信息。当前多轮对话生成主要基于层次的编码器‑解码器结构。本发明提出了一个尾句‑上下文双重注意力模型。每句话都通过编码器获取句子的语义表示。对最后一句话中每个词做注意力，同时对每句话的语义表示做注意力。二者拼接作为解码阶段的上下文向量。此外，本发明还引入了多头自注意力机制使得在获取每句话的语义表示时能更关注于关键的词。实验证明本发明方法的模型在自动评价和人工评价两个方面都超出了基准模型。

技术领域

本发明属于人机对话领域，提供了一种基于尾句-上下文双重注意力模型的多轮对话生成方法。

背景技术

对话系统主要可以分为任务导向型和非任务导向型两种。任务导向型对话系统主要是帮助用户去完成特定任务，比如找商品，订住宿，订餐厅等。非任务导向型对话系统，通常也被称为对话机器人，主流有两类：生成式对话和抽取式对话。抽取式对话是从候选答案中选出一个答案作为回答，需要大量对话库来支撑。近年来，随着深度学习在自然语言处理领域获得巨大成功，数据驱动的生成式对话系统越来越成为研究的热点。

基于神经网络的seq2seq模型可以完成如下的任务，给定一个输入序列q，模型可以生成一个回复r。基于这样的编码-解码(encoder-decoder)结构，研究者们已经在单轮开放域对话生成中取得了很多的进展。在真实的人类对话场景中，上下文信息起到尤为关键的作用。如何更好地使用一段对话的上下文信息，使得生成的回复能够更具有一致性和上下文敏感性，是当前多轮对话地研究重点。

本发明研究了开放域中的多轮对话生成问题。当已有几个轮次的对话前提下，本发明构建一个能够生成最后一个语句的回复的模型。对于如何利用上下文信息，研究者们提出了很多种方法。Yan等人直接将上下文语句与最后一个语句拼接起来；Serban等人使用分层的seq2seq模型构建对话系统，以获取对话过程中的意图、主体等相关信息。Tian等人分析了上下文信息在对话系统中的作用以及如何能更好地利用上下文信息。然而，一个好的多轮对话的回复应该首先具有与最后一个语句的对应关系，避免答非所问。其次，一个好的回复应当具有情境的一致性。另外，每一个语句中希望能更关注于关键的词，显然这样能够提升对话的生成质量。基于上述观念，本发明提出了一种基于尾句-上下文双重注意力模型的多轮对话生成方法。将编码器部分的自注意力机制应用在上下文语句的编码阶段，取得了更佳的效果。

发明内容

本发明提出基于尾句-上下文双重注意力模型的多轮对话生成方法。首先，对于每句话在字词层面引入多头自注意力机制，然后通过GRU获得每句话的句子表示。解码的时候同时考虑对尾句和上下文的注意力。对于尾句，将每个词与解码器的前一个时刻的隐藏状态做注意力计算。对于上下文，将每句话的句子表示与解码器前一个时刻的隐藏状态做注意力计算。最后将两次得到的语义向量拼接供解码时使用。

为了获得句子的语义表示，一般可以将句中的每个词按次序作为长短期记忆网络的输入，取网络最后一步的输出作为句子向量的表示。这样得到的句子向量表示难以区分不同词的重要程度。在单轮对话中，解码阶段可以引入注意力机制，将编码器每个时刻的输出与解码器前一个时刻的隐藏状态做注意力计算，这样可以得到句子中不同词的权重。

在使用分层结构模型的多轮对话中，编码每个上下文语句的句子向量表示并不直接与解码阶段相联系，所以并不能适用单轮对话中的注意力机制。而自注意力机制可以在不需要外部信息加入的前提下衡量句子中不同词的重要程度。提出的多头自注意力机制在机器翻译任务中相较以往的模型取得了明显的提升。

本发明的技术方案：

基于尾句-上下文双重注意力模型的多轮对话生成方法，步骤如下：