[发明专利]一种基于深度强化学习的指导性自动聊天方法

权利要求书

1.一种基于深度强化学习的指导性自动聊天方法，其特征在于：利用深度网络模型感知用户的意图以及状态，然后利用强化学习的方式优化模型，在此基础上加入了特定的教学模块，教学模块分为两种模式教学模块通过直接给出示范决策或者给予额外的奖励来指决策模块做出正确的策略；该方法包括以下步骤：

步骤1，文本分词预处理；

步骤1.1，读取文本进行切词操作；

步骤1.2，将切分的单词读取成类别向量的表示；

步骤1.3，将切分的单词按词向量表示；

步骤1.4，将切分的单词读取成情感向量的表示；

步骤1.5，将步骤1.2、步骤1.3和步骤1.4的向量进行拼接；

步骤2，文本信息的综合处理；

步骤2.1，将步骤1得到的向量送入LSTM网络识别模块；

步骤2.2，将步骤2.1的结果加入分类网络，得出相应动作的概率；

步骤3，动作教学

步骤3.1，计算当前的模式，得出教学模式或者批判模式；

步骤3.2，若步骤3.1为教学模式，则教学模块给出当前的示范动作，当前轮对话的动作即为示范模块；若步骤3.2为批判模式则教学模块给出步骤2.2中动作的奖励值，当前轮对话的动作为步骤2.2中的动作；

步骤4，实体输出；根据步骤3中得出的动作进行实体填充，得到回复文本；

步骤5，根据奖励优化LSTM网络模块

步骤5.1，计算当前轮的奖励值；若步骤3.1为教学模块，则奖励值为本轮对话的用户评价；若步骤3.1为批判模块，则奖励值为本轮对话的用户评价与教学模块给出奖励的加和；

步骤5.2，根据步骤5.1的奖励值利用策略梯度的方式优化LSTM网络。

2.根据权利要求1所述的一种基于深度强化学习的指导性自动聊天方法，其特征在于：建立基于教学模块指导的深度强化学习网络框架：端到端对话生成模块以及教学模式判别模块；其中模型的主体模块为一个LSTM深度网络，用来综合用户的输入信息产生相应的决策，教学模块用以指导决策模块，连同当前用户意图和对话状态的感知，选择相对应的策略，根据策略优化LSTM深度网络，提升对话生成对会话情景的适应性。

3.根据权利要求1所述的一种基于深度强化学习的指导性自动聊天方法，其特征在于：策略梯度的优化算法，即：其中γ为学习率；a_t是t时间采取的行为；h_t是t时间的对话历史；▽_w表示对w取Jacobian行列式；b代表偏置，是对当前策略返回奖励的平均估计。