[发明专利]一种用于人机对话系统的回复生成方法、装置及电子设备

说明书

本说明书一个或多个实施例提供一种用于人机对话系统的回复生成方法、装置及电子设备，通过预先训练的回复生成模型，将用户与机器人的问题和回复输入，通过第一编码器层进行自注意力和局部掩码处理，使模型充分利用问题和回复各自语句内的语义特征，再通过第二编码器层自注意力和全局掩码处理，使得模型充分利用当前以及之前的所有问题和回复的上下文语义特征，并基于第二编码器层的输出来生成对应于用户当前问题的当前回复。

技术领域

本说明书一个或多个实施例涉及自然语言处理技术领域，尤其涉及一种用于人机对话系统的回复生成方法、装置及电子设备。

背景技术

人机对话系统，采用自然语言作为交互媒介为用户提供服务，是一项拥有广阔实际应用空间的自然语言处理技术，常见的人机对话系统包括问答机器人、聊天机器人、客服机器人等。在人机对话系统中，人机对话的过程由用户发出的问题和机器人输出的回复构成；其中，回复的生成一般通过基于机器学习的语言模型实现。然而，现有的语言模型普遍存在生成的回复的准确度不佳的问题。

发明内容

有鉴于此，本说明书一个或多个实施例的目的在于提出一种用于人机对话系统的回复生成方法、装置及电子设备。

基于上述目的，本说明书一个或多个实施例提供了一种用于人机对话系统的回复生成方法，包括：

获取用户与机器人之间按对话顺序依次排列的问题和回复，并输入预先训练的回复生成模型；其中，所述问题包括历史问题和当前问题；所述回复生成模型包括：词嵌入层、第一编码器层、第二编码器层和解码器层；

在所述词嵌入层，对所述问题和回复进行词嵌入处理，生成所述问题中各个词分别对应的问题词向量以及所述回复中各个词分别对应的回复词向量；

在所述第一编码器层，根据所述问题词向量和所述回复词向量，采用自注意力机制和局部掩码处理，生成所述问题中各个词分别对应的问题局部特征向量以及所述回复中各个词分别对应的回复局部特征向量；对于任一问题中的任一词，所述局部掩码处理使该词仅与同一问题内的各个词之间存在注意力值；对于任一回复中的任一词，所述局部掩码处理使该词仅与同一回复内且其之前的各个词之间存在注意力值；

在所述第二编码器层，根据所述问题局部特征向量和所述回复局部特征向量，采用自注意力机制和全局掩码处理，生成所述回复中各个词分别对应的回复全局特征向量；对于任一回复中的任一词，所述全局掩码处理使该词仅与其所属回复中之前的各个词以及其所属回复之前的全部问题和回复中的各个词之间存在注意力值；

在所述解码器层，根据所述回复全局特征向量，生成对应于所述当前问题的当前回复。

基于同一发明构思，本说明书一个或多个实施例还提供了一种用于人机对话系统的回复生成装置，包括：

获取模块，被配置为获取用户与机器人之间按对话顺序依次排列的问题和回复，并输入预先训练的回复生成模型；其中，所述问题包括历史问题和当前问题；所述回复生成模型包括：词嵌入层、第一编码器层、第二编码器层和解码器层；

词嵌入模块，被配置为对所述问题和回复进行词嵌入处理，生成所述问题中各个词分别对应的问题词向量以及所述回复中各个词分别对应的回复词向量；

第一编码器模块，被配置为根据所述问题词向量和所述回复词向量，采用自注意力机制和局部掩码处理，生成所述问题中各个词分别对应的问题局部特征向量以及所述回复中各个词分别对应的回复局部特征向量；对于任一问题中的任一词，所述局部掩码处理使该词仅与同一问题内的各个词之间存在注意力值；对于任一回复中的任一词，所述局部掩码处理使该词仅与同一回复内且其之前的各个词之间存在注意力值；