[发明专利]回复信息生成模型的训练方法、回复信息生成方法及装置

说明书

本发明实施例公开一种回复信息生成模型的训练方法及回复信息生成方法，训练方法包括：获取第一输入序列；以第一解码隐状态向量为第一编码器的隐藏层的初始值，采用第一编码器编码第一输入序列，得到第二编码隐状态向量；采用解码器解码第二编码隐状态向量，得到第一输出序列；计算标准输出序列与第一输出序列的误差；如果误差高于预设的结束阈值，则根据误差更新第一编码器和解码器的参数。利用上述技术方案中的训练方法训练得到的回复信息生成模型来生成回复信息时，能够将前一轮或者前几轮的会话信息引入到下一轮会话的回复信息的生成过程中，从而生成更加准确的回复信息，更加符合用户的自然语言交互习惯。

技术领域

本发明涉及循环神经网络技术领域，具体涉及一种回复信息生成模型的训练方法及训练装置。此外，本申请还涉及一种回复信息生成方法及生成装置。

背景技术

智能问答是一种通过人机交互以一问一答的形式为用户提供信息服务的技术。按照答案的生成反馈机制划分，智能问答系统可以分为基于检索式的问答系统和基于生成式的问答系统。基于生成式的答案反馈机制主要是利用大量交互数据对(问题-答案对)来训练得到一个回复信息生成模型，再将用户输入信息输入训练好的回复信息生成模型，回复信息生成模型就能自动生成由词语序列组成的回复信息。

基于循环神经网络(Recurrent Neural Network，RNN)模型的智能问答系统是基于生成式的问答系统中的一种，它主要包括一个编码-解码模型，即回复信息生成模型。请参考图1，该编码-解码模型通常包括两部分——编码器(Encoder)和解码器(Decoder)。将用户的输入信息看成一个单字表示的序列(输入序列x)，编码器是一个RNN模型，其作用是对输入序列进行编码，得到编码隐状态向量h。解码器也是一个RNN模型，其作用是对编码隐状态向量h进行解码，转换成另一个单字表示的序列(输出序列y)。

现有技术中的智能问答系统，包括前述的基于RNN模型的智能问答系统，都是针对单轮会话，这样的会话形式实际上并不符合用户的自然语言交互习惯。人们在采用自然语言交互时，一个话题往往需要多轮交互。在进行多轮交互的过程中，当前轮次的会话信息往往会依赖此前轮次的会话信息，例如，在当前轮次的会话信息中可能会省略此前提到过的信息。而现有智能问答系统仅仅依靠当前轮次的输入信息来生成回复信息，因此其反馈给用户的回复信息的准确率较低。

发明内容

为解决上述技术问题，本申请提供一种回复信息生成模型的训练方法，以及利用训练好的模型来生成回复信息的方法，以使得生成的回复信息的准确率更高，进而更加符合用户的自然语言交互习惯。

第一方面，提供一种回复信息生成模型的训练方法，包括：

获取第一输入序列，所述第一输入序列由训练语料中当前轮次会话的输入信息转换得到；

以第一解码隐状态向量为第一编码器的隐藏层的初始值，采用所述第一编码器编码所述第一输入序列，得到第二编码隐状态向量，其中，所述第一编码器为基于RNN模型的编码器，所述第一解码隐状态向量为上一轮会话中解码器的隐含层中最后一步的状态值；

采用解码器解码所述第二编码隐状态向量，得到第一输出序列，所述解码器为基于RNN模型的解码器；

计算标准输出序列与所述第一输出序列的误差，所述标准输出序列由训练语料中当前轮次会话的回复信息转换得到；

如果所述误差高于预设的结束阈值，则根据所述误差更新所述第一编码器和所述解码器的参数。

结合第一方面，在第一方面第一种可能的实现方式中，以第一解码隐状态向量为第一编码器的隐藏层的初始值，采用所述第一编码器编码所述第一输入序列的步骤之前，还包括：

获取语义指导输入序列，所述语义指导输入序列由语义指导词转换得到，所述语义指导词为表征训练语料中当前轮次的回复信息的语义的字词；