[发明专利]回复信息生成模型的训练方法、回复信息生成方法及装置

权利要求书

1.一种回复信息生成模型的训练方法，其特征在于，包括：

获取第一输入序列，所述第一输入序列由训练语料中当前轮次会话的输入信息转换得到；

以第一解码隐状态向量为第一编码器的隐藏层的初始值，采用所述第一编码器编码所述第一输入序列，得到第二编码隐状态向量，其中，所述第一编码器为基于RNN模型的编码器，所述第一解码隐状态向量为上一轮会话中解码器的隐含层中最后一步的状态值；

采用解码器解码所述第二编码隐状态向量，得到第一输出序列，所述解码器为基于RNN模型的解码器；

计算标准输出序列与所述第一输出序列的误差，所述标准输出序列由训练语料中当前轮次会话的回复信息转换得到；

如果所述误差高于预设的结束阈值，则根据所述误差更新所述第一编码器和所述解码器的参数；

以第一解码隐状态向量为第一编码器的隐藏层的初始值，采用所述第一编码器编码所述第一输入序列的步骤之前，还包括：

获取语义指导输入序列，所述语义指导输入序列由语义指导词转换得到，所述语义指导词为表征训练语料中当前轮次的回复信息的语义的字词；

采用第二编码器编码所述语义指导输入序列，得到语义指导隐状态向量，所述第二编码器为基于RNN模型的编码器，所述语义指导隐状态向量为所述第二编码器的隐含层中最后一步的状态值；

将所述语义指导隐状态向量与所述第一解码隐状态向量水平连接，得到第一受控隐状态向量；

以第一解码隐状态向量为第一编码器的隐藏层的初始值，采用所述第一编码器编码所述第一输入序列，得到第二编码隐状态向量，具体包括：

以所述第一受控隐状态向量为第一编码器的隐藏层的初始值，采用所述第一编码器编码所述第一输入序列，得到第二编码隐状态向量。

2.根据权利要求1所述的回复信息生成模型的训练方法，其特征在于，获取语义指导输入序列的步骤包括：

获取训练语料中当前轮次会话的回复信息；

对所述回复信息进行分词；

从分词结果中提取语义指导词；

将所述语义指导词转换为语义指导输入序列。

3.根据权利要求1所述的回复信息生成模型的训练方法，其特征在于，采用解码器解码所述第二编码隐状态向量，得到第一输出序列的步骤，包括：

计算解码器中第j个时刻的解码隐状态向量s_j分别对第二编码器中的语义指导隐状态向量h₀、第一编码器中所有编码隐状态向量{h₁，...，h_i，...，h_n}的注意力分配权重其中，i＝0，1，2，…，n；j＝1，2，…，m；n为第一解码器中编码隐状态向量h_i的总数量，m为解码器的输出序列中输出值y_j的总数量；

使用softmax函数计算得到加权平均值c_j，其中，j＝0，1，2，…，m；

采用解码器解码所述第二编码隐状态向量，得到第一输出序列{y₁’，...，y_j’，...，y_m’}，y_j’＝g(y_j-1，s_j，c_j)，s_j＝f(y_j-1，s_j-1，c_j)，其中，f为非线性的激活函数，g为softmax函数，y_j-1为第j个时刻解码器的输入层的输入值，s_j为第j个时刻解码器的隐藏层的解码隐状态向量。

4.根据权利要求1所述的回复信息生成模型的训练方法，其特征在于，还包括：

如果所述误差低于或等于预设的结束阈值，则将所述第一编码器和所述解码器当前的参数确定为回复信息生成模型的参数。