[发明专利]针对多轮对话生成回复语句的方法和装置

说明书

本说明书实施例提供一种针对多轮对话生成回复语句的方法和装置，方法包括：获取历史上下文；对历史上下文基于注意力机制进行编码，得到历史上下文对应的上下文向量，以及历史上下文对应的第一分词序列的编码注意力分布；对候选知识集合中的各候选知识基于注意力机制进行编码，得到候选知识集合对应的知识融合向量，以及候选知识集合对应的第二分词序列的知识注意力分布；针对回复语句进行逐词预测，其中每次预测包括：对于扩充词表中每个候选词，得到将该候选词作为下一个词的预测概率；扩充词表包括，用于生成候选词的初始词表，第一分词序列中各分词，以及第二分词序列中各分词。在针对多轮对话生成回复语句时能够处理词汇不足单词。

技术领域

本说明书一个或多个实施例涉及计算机领域，尤其涉及针对多轮对话生成回复语句的方法和装置。

背景技术

当前，在智能客服中，由机器与用户进行对话，解答用户问题，由于用户的表达口语化，一轮对话往往无法明确用户诉求，需要机器与用户之间进行多轮对话，才能最终解答用户问题。

现有技术中，常常采用生成式模型针对多轮对话生成回复语句。生成式模型可以生成用户问句中没有的词语，但是生成的回复语句可能不能准确地再现细节,无法处理词汇不足（out-of-vocabulary，OOV）单词。

因此，希望能有改进的方案，在针对多轮对话生成回复语句时能够处理词汇不足单词。

发明内容

本说明书一个或多个实施例描述了一种针对多轮对话生成回复语句的方法和装置，在针对多轮对话生成回复语句时能够处理词汇不足单词。

第一方面，提供了一种针对多轮对话生成回复语句的方法，方法包括：

获取多轮对话中包含当前用户问句的历史上下文；

对所述历史上下文基于注意力机制进行编码，得到所述历史上下文对应的上下文向量，以及所述历史上下文对应的第一分词序列的编码注意力分布；

对候选知识集合中的各候选知识基于注意力机制进行编码，得到所述候选知识集合对应的知识融合向量，以及所述候选知识集合对应的第二分词序列的知识注意力分布；

针对回复语句进行逐词预测，其中每次预测包括：

通过指针生成网络，分别生成当前的第一指针和第二指针，第一指针指示根据历史上下文生成下一个词的概率，第二指针指示根据候选知识集合生成下一个词的概率；

对于扩充词表中每个候选词，至少根据所述上下文向量、所述知识融合向量预测生成该候选词的第一概率；根据第一指针和编码注意力分布，确定从历史上下文中复制该候选词的第二概率，根据第二指针和知识注意力分布，确定从候选知识集合中复制该候选词的第三概率，并根据所述第一概率，第二概率和第三概率，得到将该候选词作为下一个词的预测概率；其中所述扩充词表包括，用于生成候选词的初始词表，第一分词序列中各分词，以及第二分词序列中各分词；

根据扩充词表中各个词的预测概率，预测下一个词。

在一种可能的实施方式中，所述历史上下文还包括至少一轮的历史用户问句和历史回复语句。

在一种可能的实施方式中，所述对候选知识集合中的各候选知识基于注意力机制进行编码之前，所述方法还包括：

提取所述历史上下文中的实体词或关键词；

根据所述实体词或关键词，确定与所述历史上下文相关的所述候选知识集合。

在一种可能的实施方式中，所述候选知识包括：句子形式的候选知识或三元组形式的候选知识；所述三元组形式的候选知识包括能够扩充为句子的三个实体词或关键词。

在一种可能的实施方式中，所述对候选知识集合中的各候选知识基于注意力机制进行编码，包括：