[发明专利]一种用于人机对话系统的回复生成方法、装置及电子设备

权利要求书

1.一种用于人机对话系统的回复生成方法，包括：

获取用户与机器人之间按对话顺序依次排列的问题和回复，并输入预先训练的回复生成模型；其中，所述问题包括历史问题和当前问题；所述回复生成模型包括：词嵌入层、第一编码器层、第二编码器层和解码器层；

在所述词嵌入层，对所述问题和回复进行词嵌入处理，生成所述问题中各个词分别对应的问题词向量以及所述回复中各个词分别对应的回复词向量；

在所述第一编码器层，根据所述问题词向量和所述回复词向量，采用自注意力机制和局部掩码处理，生成所述问题中各个词分别对应的问题局部特征向量以及所述回复中各个词分别对应的回复局部特征向量；对于任一问题中的任一词，所述局部掩码处理使该词仅与同一问题内的各个词之间存在注意力值；对于任一回复中的任一词，所述局部掩码处理使该词仅与同一回复内且其之前的各个词之间存在注意力值；

其中，所述自注意力机制和局部掩码处理，包括：生成所述问题和回复中的各个词分别对应的第一隐状态；根据所述第一隐状态构建第一注意力值矩阵；所述第一注意力值矩阵中的注意力值为相应的两个词的第一隐状态的点积；生成与所述第一注意力值矩阵大小相同的局部掩码矩阵；所述局部掩码矩阵中，用于掩码的位置赋值为负无穷，其他位置赋值为零；将所述局部掩码矩阵与所述第一注意力值矩阵相加，根据相加的结果，生成所述问题局部特征向量和所述回复局部特征向量；

在所述第二编码器层，根据所述问题局部特征向量和所述回复局部特征向量，采用自注意力机制和全局掩码处理，生成所述回复中各个词分别对应的回复全局特征向量；对于任一回复中的任一词，所述全局掩码处理使该词仅与其所属回复中之前的各个词以及其所属回复之前的全部问题和回复中的各个词之间存在注意力值；

其中，所述自注意力机制和全局掩码处理，包括：生成所述问题和回复中的各个词分别对应的第二隐状态；根据所述第二隐状态构建第二注意力值矩阵；所述第二注意力值矩阵中的注意力值为相应的两个词的第二隐状态的点积；生成与所述第二注意力值矩阵大小相同的全局掩码矩阵；所述全局掩码矩阵中，用于掩码的位置赋值为负无穷，其他位置赋值为零；将所述全局掩码矩阵与所述第二注意力值矩阵相加，根据相加的结果，生成所述所述回复全局特征向量；

在所述解码器层，根据所述回复全局特征向量，生成对应于所述当前问题的当前回复。

2.根据权利要求1所述的方法，所述第一编码器层有至少两个且依次连接；其中，位于首位的第一编码器层的输入为所述问题词向量和所述回复词向量；其他第一编码器层的输入为前一第一编码器层输出的问题局部特征向量和回复局部特征向量；位于末位的第一编码器层输出的问题局部特征向量和回复局部特征向量输入所述第二编码器层。

3.根据权利要求2所述的方法，在所述第二编码器层，还根据所述问题局部特征向量和所述回复局部特征向量，采用自注意力机制和全局掩码处理，生成所述问题中各个词分别对应的问题全局特征向量；对于任一问题中的任一词，所述全局掩码处理使该词仅与其所属问题中的各个词以及其所属问题之前的全部问题和回复中的各个词之间存在注意力值；

所述第二编码器层有至少两个且依次连接；其中，位于首位的第二编码器层的输入为所述问题局部特征向量和所述回复局部特征向量；其他第二编码器层的输入为前一第二编码器层输出的问题全局特征向量和回复全局特征向量；位于末位的第二编码器层输出的回复局部特征向量输入所述解码器层。