[发明专利]一种对话生成方法、装置以及电子设备

权利要求书

1.一种对话生成方法，包括：

利用包含话题范围约束信息的损失函数，对基于序列到序列的对话模型进行训练；所述话题范围约束信息为所述损失函数中的至少一个与对话话题相关的参数或者公式，所述话题范围约束信息使得所述对话模型的输出序列与对应的对话模型的输入序列具有话题回复一致性；

利用所述训练过的对话模型，生成对话；

所述对基于序列到序列的对话模型进行训练前，所述方法还包括：

利用对话训练语料训练话题模型，得到多个第一话题向量，每个所述第一话题向量分别表示一个话题；

所述利用包含话题范围约束信息的损失函数，对基于序列到序列的对话模型进行训练，具体包括：

将训练序列输入基于序列到序列的对话模型进行处理，得到所述处理过程中输出的各隐状态输出数据，以及所述处理后得到的输出序列；

根据所述各隐状态输出数据，生成所述输出序列对应的第二话题向量；以及，

将所述输出序列输入所述训练过的话题模型进行处理，得到在所述多个第一话题向量中，所述输出序列对应的第一话题向量；

根据所述输出序列对应的第一话题向量和第二话题向量，以及利用包含话题范围约束信息的损失函数，计算损失；

根据所述损失，对所述对话模型进行调整。

2.如权利要求1所述的方法，所述根据所述各隐状态输出数据，生成所述输出序列对应的第二话题向量，具体包括：

对所述各隐状态输出数据进行池化Pooling处理；

通过将所述Pooling处理后得到的数据输入多层感知器进行处理，生成所述输出序列对应的第二话题向量。

3.如权利要求1所述的方法，所述根据所述输出序列对应的第一话题向量和第二话题向量，以及利用包含话题范围约束信息的损失函数，计算损失，具体包括：

计算所述输出序列对应的第二话题向量与所述输出序列对应的第一话题向量间的第一相似度；以及，

计算所述输出序列对应的第二话题向量与不相关话题向量间的第二相似度，所述不相关话题向量是所述多个第一话题向量中除所述输出序列对应的第一话题向量以外的向量；

将所述第一相似度和所述第二相似度代入包含话题范围约束信息的损失函数，计算损失，其中，所述话题范围约束信息为包含所述第一相似度和第二相似度对应的参数的公式。

4.一种对话生成装置，包括：

训练模块，利用包含话题范围约束信息的损失函数，对基于序列到序列的对话模型进行训练；所述话题范围约束信息为所述损失函数中的至少一个与对话话题相关的参数或者公式，所述话题范围约束信息使得所述对话模型的输出序列与对应的对话模型的输入序列具有话题回复一致性；

生成模块，利用所述训练过的对话模型，生成对话；

所述训练模块对基于序列到序列的对话模型进行训练前，还利用对话训练语料训练话题模型，得到多个第一话题向量，每个所述第一话题向量分别表示一个话题；

所述训练模块利用包含话题范围约束信息的损失函数，对基于序列到序列的对话模型进行训练，具体包括：

所述训练模块将训练序列输入基于序列到序列的对话模型进行处理，得到所述处理过程中输出的各隐状态输出数据，以及所述处理后得到的输出序列；

根据所述各隐状态输出数据，生成所述输出序列对应的第二话题向量；以及，

将所述输出序列输入所述训练过的话题模型进行处理，得到在所述多个第一话题向量中，所述输出序列对应的第一话题向量；

根据所述输出序列对应的第一话题向量和第二话题向量，以及利用包含话题范围约束信息的损失函数，计算损失；

根据所述损失，对所述对话模型进行调整。

5.如权利要求4所述的装置，所述训练模块根据所述各隐状态输出数据，生成所述输出序列对应的第二话题向量，具体包括：

所述训练模块对所述各隐状态输出数据进行池化Pooling处理；

通过将所述Pooling处理后得到的数据输入多层感知器进行处理，生成所述输出序列对应的第二话题向量。

6.如权利要求4所述的装置，所述训练模块根据所述输出序列对应的第一话题向量和第二话题向量，以及利用包含话题范围约束信息的损失函数，计算损失，具体包括：

所述训练模块计算所述输出序列对应的第二话题向量与所述输出序列对应的第一话题向量间的第一相似度；以及，

计算所述输出序列对应的第二话题向量与不相关话题向量间的第二相似度，所述不相关话题向量是所述多个第一话题向量中除所述输出序列对应的第一话题向量以外的向量；

将所述第一相似度和所述第二相似度代入包含话题范围约束信息的损失函数，计算损失，其中，所述话题范围约束信息为包含所述第一相似度和第二相似度对应的参数的公式。