[发明专利]一种改进的基于顺序匹配网络的多轮对话模型

说明书

聊天机器人、智能客服所涉及的多轮对话是现在研究的一个热点。基于检索方法的多轮对话中，顺序匹配(SMN)模型比较有代表性，该模型在对话回复匹配部分中使用单层的GRU网络，但是单层GRU网络提取深层次特征的能力有限，得到的编码信息会包含一些噪声。且该模型的对话匹配部分使用CNN卷积神经网络，而CNN网络主要关注局部信息，对自然语言序列整体的语义信息提取能力有限，会导致信息经过CNN网络后得到的信息不全。本发明涉及一种用于多轮对话模型顺序匹配网络的最优匹配算法。包括：(1)将单层GRU网络改为多层深度网络。(2)将特征矩阵M1和M2的聚合操作提前。(3)将CNN卷积网络替换成GRU网络。(4)改进后的SMN网络精确度提高了大约2个百分点。

技术领域

本发明涉及自然语言处理领域，即一种用于多轮对话系统中答案选择模型，选择最优回复的算法。

背景技术

近年来，随着人工智能的火热，聊天机器人、智能客服也被广泛应用，其中如何获得准确的答案是研究的一个热点，聊天机器人、智能客服在进行对话时是一个多轮对话的过程，多轮对话不仅要考虑问题信息，还需要关注对话时的上下文语境(context)，因为上下文语境可以提供许多有用的信息，并且对于构建连贯的对话有重要的作用。在多轮对话中基于检索的方法比较有代表性的模型是顺序匹配(SMN)模型。该模型包含三个部分：对话回复匹配(UtteranceResponse Matching)、匹配累积(MatchingAccumulation)和匹配预测(Matchig Prediction)。整体思路是：将候选回复response与上下文中的每句话utterance组成 response-utterance对，然后在字层面和句子层面两个维度上进行匹配，把每对utterance-response匹配后形成的两个匹配向量堆叠在一起输入进一个卷积神经网络得到每个 utterance-response对新的匹配向量。然后一轮多轮对话中所有的response-utterance对生成的匹配向量按照utterance的时间顺序输入进GRU网络来计算匹配得分。但是该模型对话回复匹配部分中使用的是一个单层的GRU网络对经过词嵌入后的句子进行编码。由于单层GRU 网络提取深层次特征能力的有限性，会导致得到的编码信息会包含一些噪声(无用的语义信息)。而且该模型的对话匹配部分使用了一个卷积神经网络来对字和句子层面的匹配矩阵提取更深层次的匹配信息，但是卷积神经网络主要关注局部信息，对于自然语言这种时序序列整体语义信息提取的能力有限，会丢掉一些信息。这样会导致经过CNN网络后生成的匹配向量所包含的匹配信息不全。

发明内容

本发明旨在至少解决上述技术问题之一。

为此，本发明的目的在于提出一种改进的基于顺序匹配网络的多轮对话模型，该模型将词嵌入之后的单层GRU网络更改为Deep GRU网络，并且将原来的CNN网络更改为GRU网络，改进后的网络在Ubantu数据集和Douban数据集都比原来的SMN模型性能有明显提高。

为了实现上述目的，本发明的技术方案为：

一种改进的基于顺序匹配网络的多轮对话，包括如下步骤：

S1.将多轮对话中的所有上下文u和候选的回复r进行分词，然后把词转换成词向量，输入到词嵌入部分，通过该部分得到对话u和回复r的词向量表示U＝[u₁,…,u_nu]和R＝[r₁,…,r_nu]，分别是u和r中第i个词的词向量表示。