[发明专利]基于尾句-上下文双重注意力模型的多轮对话生成方法

摘要

基于尾句‑上下文双重注意力模型的多轮对话生成方法，属于人机对话领域。一个合适的回复应该是符合最后一个句子的语义且能够利用到整个上下文的信息。当前多轮对话生成主要基于层次的编码器‑解码器结构。本发明提出了一个尾句‑上下文双重注意力模型。每句话都通过编码器获取句子的语义表示。对最后一句话中每个词做注意力，同时对每句话的语义表示做注意力。二者拼接作为解码阶段的上下文向量。此外，本发明还引入了多头自注意力机制使得在获取每句话的语义表示时能更关注于关键的词。实验证明本发明方法的模型在自动评价和人工评价两个方面都超出了基准模型。

主权项

1.基于尾句‑上下文双重注意力模型的多轮对话生成方法，其特征在于，步骤如下：步骤1：设一段对话，包含的上下文语句为U＝(u₁,...u_i,...u_n)，其对应的一个回复为Y＝(y₁,...y_j,...y_m)，其中n为上下文语句的数量，m为回复语句中词的数量；对于任意一个语句u_i，W_i＝(w_i,1,...w_i,k,...w_i,p)为该句中的词，其中p为词的数量；尾句‑上下文双重注意力模型接收n个句子u₁,...u_i,...u_n作为输入；步骤2：对于语句u_i中的词w_i,1,...w_i,k,...w_i,p，对每个词做多头自注意力计算，得到W'_i＝(w'_i,1,...w'_i,k,...w'_i,p)，公式如下：w'_i,k＝MultiHead(w_i,k,w_i,k,w_i,k)＝Concat(head₁,...,head_h)W^O其中，w_i,k代表u_i中第k个单词，w'_i,k代表经过多头自注意力计算后的词向量；MultiHead(g)表示多头注意力方法，Concat(g)表示拼接操作，h是多头注意力中线性变换个数；head_i＝Attention(w_i,kW_i^Q,w_i,kW_i^K,w_i,kW_i^V)，其中Attention(g)表示缩放点击注意力方法，它接收三个参数Q,K,V，定义为d_k为Q的维度；在本模型中Q＝w_i,kW_i^Q，K＝w_i,kW_i^K，V＝w_i,kW_i^V；W_i^Q、W_i^K、W_i^V、W^O为预设参数矩阵，softmax(g)为激活函数；步骤3：对于语句u_i中经过多头自注意力计算的到的词w'_i,1,...w'_i,k,...w'_i,p，从第一个单词开始通过GRU计算加密隐函数，h_i,k＝f(w'_i,k,h_i,k‑1)，其中h_i,0记为预设参数；将最后一个计算完毕的h_i,p作为整个句子u_i的加密隐函数h_i：h_i＝GRU(w'_i,1,...w'_i,k,...w'_i,p)，将每个上下文语句都按上文计算，得到所有上下文语句的句子表示H＝(h₁,...h_i,...h_n)；步骤4：计算上下文每个句子的注意力权重：其中e_i,t＝V^Ttanh(Wh_i+Us_t‑1)，V、W、U均为注意力机制中的预设参数矩阵，t代表解码的每个时刻，tanh为激活函数，s_t‑1是解码器在t‑1时刻的隐藏状态；由得到的每句句子的权重计算上下文语境表示向量步骤5：对于末尾语句u_n，W_n＝(w_n,1,...w_n,k,...w_n,p)是句中的词，计算末尾语句u_n中每个词的注意力权重：其中e_k,t＝V'^Ttanh(W'w_n,k+U's_t‑1)，V'、W'、U'均为注意力机制中的预设参数矩阵，tanh为激活函数；由得到的每个词的权重计算末尾句的语境表示向量步骤6：将末尾语句和整个上下文语句两个语境表示向量拼接起来作为最终的语境表示向量C_t＝[c_t；c'_t]；步骤7：针对末尾句子u_n，从第一个单词开始通过GRU计算加密隐函数，h'_n,k＝f(w_i,k,h'_n,k‑1)，其中h'_n,0记为预设参数；将最后一个计算完毕的h'_n,p作为整个句子u_n的加密隐函数h'_n；步骤8：计算t时刻解码器的隐藏状态：s_t＝f(y_t‑1,s_t‑1,C_t)，y_t‑1表示t‑1时刻的迭代输入量，y₀为预设值，s₀＝h'_n；步骤9：将s₁…s_t…s_m的值作为生成的回复语句进行输出。