[发明专利]一种基于自我评论序列学习的对话回复生成方法及系统

权利要求书

1.一种基于自我评论序列学习的对话回复生成方法，其特征在于，包括以下步骤：

(1)对当前对话的上下文语境进行建模，获得上下文语义向量；

(2)根据上下文语义向量，建立基于自我评论序列学习的对话模型；

(3)对对话模型进行训练和测试，分别得到训练奖励值和测试奖励值；

(4)计算两个奖励值之间的差，通过计算策略梯度，优化对话模型；

(5)对话模型训练完毕，输出对话回复。

2.根据权利要求1所述的基于自我评论序列学习的对话回复生成方法，其特征在于，步骤(1)中，采用深度循环神经网络和注意力机制相结合的方式进行上下文语境建模，所述上下文语义向量的计算公式为：

其中，C_u表示上下文语义向量，a_j,t表示第j个单词受到第t个隐含状态影响的注意力权重，M为上下文出现的所有单词个数，w_j为上下文中出现第j个单词的词向量表示，a_j,t计算公式为：

其中，h_t为第t个当前单词的隐含状态表示，z_j为第j个单词在上下文语境中的语义表示，z_j的计算公式为：

z_j＝tanh(W_m-1z_j-1+W_m+1z_j+1+b_m)

其中，z_j-1和z_j+1为前个单词和后个单词隐含表示，W_m-1，W_m+1，b_m是训练得到的参数，tanh是正切激活函数。

3.根据权利要求1所述的基于自我评论序列学习的对话回复生成方法，其特征在于，步骤(3)的具体步骤为：

(3-1)训练过程中，输入要学习的句子并得到新生成的采样句子，从而得到在具体评判标准下的训练奖励值；

(3-2)测试过程中，输入要测试的对话以及预测出的句子，得到在具体评判标准下的测试奖励值。

4.根据权利要求3所述的基于自我评论序列学习的对话回复生成方法，其特征在于，步骤(3-1)中，所述的训练过程采用的交叉熵损失函数计算训练奖励值。

5.根据权利要求1所述的基于自我评论序列学习的对话回复生成方法，其特征在于，步骤(4)中，所述的策略梯度的公式为：

其中，为损失函数的梯度下降表示，表示每个最终生成的单词与真实单词之间的误差累积期望值，r(w^s)为训练奖励值，r(w^t)代表测试奖励值，p_θ(w^s)为单词的采样分布概率。

6.一种基于自我评论序列学习的对话回复生成系统，包括计算机系统，其特征在于，所述计算机系统包括：

上下文语义理解模块，利用深度循环神经网络及注意力机制，用于捕捉对话过程中的上下文信息；

初始化对话状态模块，用于初始化对话模型在训练过程和测试过程中的超参数；

训练评测模块，用于在对话模型训练过程中计算获得训练奖励值；

测试评测模块，用于在对话模型测试过程中计算获得测试奖励值；

自我评论模块，用于计算训练评测模块和测试评测模块所得到的两个奖励值之间的差，并利用策略梯度下降策略，优化目标函数；

对话生成模块，用于在对话模型训练完毕之后，对外输出对话回复。