[发明专利]一种带有强泛化知识选择的开放域对话生成方法及模型

权利要求书

1.一种带有强泛化知识选择的开放域对话生成方法，其特征在于，包括以下步骤：

步骤1，知识检索，在总知识库中检索出与当前对话内容有关的知识条目集合，为之后的细粒度知识选择预准备；

步骤2，Transformer编码器，采用拥有多头自注意力机制的编码器，两个Transformer编码器对用户消息X和知识集合F中的每条知识都进行分别独立编码，并输出；

步骤3，发散知识选择器负责选择一条特定知识作为最终的知识候选，用于促进回复生成；

步骤4，知识感知解码器负责将所选知识正确且有效地整合到回复生成过程中。

2.根据权利要求1所述的一种带有强泛化知识选择的开放域对话生成方法，其特征在于，所述的Transformer编码器，对句子中的每个词语均执行编码输出：

将带有位置感知信息的词嵌入序列作为输入：

Input(S)＝[s₁,...,s_ns]

其中，S＝(s₁，s₂，...，s_ns)代指包含ns个词语的输入句子，是单词s_i的词嵌入表示；

使用Glove预训练模型初始化词嵌入；PE(·)是一个位置信息编码函数；

Transformer编码器由NE个相同主层堆积而成，其中每个主层具有两个子层：

第一个子层是多头自注意力层MultiHead(Q，K，V)，

其中Q是查询矩阵，K是键矩阵，V是值矩阵，在当前情况下，Q＝K＝V，即自注意力机制；MultiHead(Q，K，V)对Q,K,V线性投影h次，并行地计算h个单头自注意力机制，即被称为多头；

第二个子层是一个全连接前馈神经网络(FFN)，两者之间带有ReLU激活函数；

以上两个子层的计算过程在每一主层中都重复进行：

M⁽ⁿ⁾＝MultiHead(D^(n-1)，D^(n-1)，D^(n-1))

D⁽ⁿ⁾＝FFN(M⁽ⁿ⁾)

其中，n∈(1，...，NE)，D⁽⁰⁾＝Input(S)；

使用En(S)来标识输入句子S的最终的编码结果；

假设X＝(x₁，x₂...，x_nx)代指有着nx个单词的用户输入消息，Y＝(y₁，y₂，...，y_ny)代指有ny个单词的目标回复，代指与当前对话内容相关的一个知识条目集合，该知识集合从总知识库中检索而来，并且每一条知识都以句子文本的形式存在；则用户消息X和知识集合f_i使用具有相同结构的两个Transformer编码器分别进行编码，即消息编码器和知识编码器，它们是互相独立的且不共享任何参数；在模型训练过程中，由于发散知识选择器需要利用到目标回复Y的信息，知识编码器同样被用来编码Y；

通过使用平均归一化，将句子的编码结果归一化为一个全局向量，用x表示用户消息，表示知识集合，在接下来的知识选择中使用。