[发明专利]对话模型训练方法及装置、对话生成方法及装置

说明书

本发明实施例提出一种对话模型训练方法及装置、对话生成方法及装置。对话模型训练方法，包括：将第一语句、第二语句及第一语句的预设知识语句输入对话模型；第二语句为第一语句的参考答复语句；根据第一语句及预设知识语句，利用对话模型确定所述预设知识语句与所述第一语句的预估相关概率；根据所述第一语句、所述第二语句及所述预设知识语句，利用所述对话模型确定所述预设知识语句与所述第一语句的参考相关概率；根据所述预估相关概率和所述参考相关概率，获得第一优化方案；根据所述第一优化方案，优化所述对话模型。本发明实施例能够对对话模型进行有效的优化训练，使得使用该对话模型生成的对话更符合显示生活中的对话且包含实际信息。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种对话模型训练方法及装置、对话生成方法及装置。

背景技术

目前的机器人对话的回复生成技术容易导致安全回复的生成，比如针对一个语句，生成“嗯”，“是啊”之类没有实际意义的回复语句。业界通常会引入额外知识的工作来解决这个问题。具体来说，这些方法在生成回复的时候，会参考一个候选知识的集合，通过在对话中融入额外知识的技术，生成多样的有信息量的回复。其中，知识选择往往是通过计算上文与候选知识的相似度，即先验信息，来进行的。但是，如果仅仅基于这种先验信息，会发现有多条候选知识都与上文有关，因而很难进行准确的知识选择，导致在训练过程中引入不必要的噪声使得模型不能很好利用知识。

发明内容

本发明实施例提供一种对话模型训练方法及装置、对话生成方法及装置，以解决现有技术中的一个或多个技术问题。

第一方面，本发明实施例提供了一种对话模型训练方法，包括：

将第一语句、第二语句及第一语句的预设知识语句输入对话模型；所述第二语句为所述第一语句的参考答复语句；

根据所述第一语句及所述预设知识语句，利用所述对话模型确定所述预设知识语句与所述第一语句的预估相关概率；根据所述第一语句、所述第二语句及所述预设知识语句，利用所述对话模型确定所述预设知识语句与所述第一语句的参考相关概率；

根据所述预估相关概率和所述参考相关概率，获得第一优化方案；

根据所述第一优化方案，优化所述对话模型。

在一种实施方式中，所述将第一语句、第二语句及第一语句的预设知识语句输入对话模型之后，还包括：

利用对话模型分别对第一语句、第二语句及第一语句的预设知识语句进行编码，得到第一语句的语句向量、第二语句的语句向量、预设知识语句的语句向量；

所述根据所述第一语句、预设知识语句，利用所述对话模型确定所述预设知识语句与所述第一语句的预估相关概率，包括：根据所述第一语句的语句向量和所述预设知识语句的语句向量，确定所述预估相关概率；

根据所述第一语句、所述第二语句及所述预设知识语句，利用所述对话模型确定所述预设知识语句与所述第一语句的参考相关概率，包括：根据所述第一语句的语句向量、第二语句的语句向量，获得所述第一语句和所述第二语句的结合向量；根据所述结合向量和所述预设知识语句的语句向量，确定所述参考相关概率。

在一种实施方式中，所述方法还包括：

根据第一语句获得第一语句的加权向量；根据所述参考相关概率在所述预设知识语句中确定与所述第一语句相关的所述预设知识语句；

根据所述加权向量和所述与所述第一语句相关的所述预设知识语句，确定参考输出语句；根据所述参考输出语句和所述第二语句，获得第二优化方案；根据所述第二优化方案，优化所述对话模型；

和/或，根据所述与第一语句相关的预设知识语句，获得答案中的预估词；根据所述预估词和所述第二语句，获得第三优化方案；根据所述第三优化方案，优化所述对话模型。