[发明专利]一种有模型的情绪感知对话策略学习方法

权利要求书

1.一种有模型的情绪感知对话策略学习方法，其特征在于，包括以下步骤：

S1、对话代理与人类用户进行多轮交互得到真实对话经验，根据任务场景对真实对话经验进行数据清洗并训练对话策略模型；

S2、情绪感知的世界模型基于真实对话经验进行参数调整，以学习用户的动作和情绪变化；

S3、基于模拟经验的策略学习，通过对话代理与情绪感知的世界模型进行交互得到模拟对话经验并优化对话策略模型的参数。

2.根据权利要求1所述的一种有模型的情绪感知对话策略学习方法，其特征在于，步骤S1中，数据清洗的方式为对真实数据中的缺失、重复、打字错误进行过滤；

根据数据清洗后的真实对话经验训练已有的基于马尔可夫决策过程框架，训练完成后得到对话策略模型。

3.根据权利要求1所述的一种有模型的情绪感知对话策略学习方法，其特征在于，步骤S2中，情绪感知的世界模型包括基于AGRU的对话上下文建模模块、基于子目标分割的特征塑造模块、预测层网络和前瞻预测模块；

其中，基于AGRU的对话上下文建模模块对用户目标进行编码；

基于子目标分割的特征塑造模块根据用户目标G得到真实对话经验中第t轮交互的子目标分割特征向量u_t；

用户目标的编码和、第t轮交互的子目标分割特征向量u_t和当前第t轮对话状态s_t一起作为预测层网络的输入，通过预测层网络预测当前轮对话的用户动作、用户情感和下一轮的系统动作；

前瞻预测模块中，将预测层网络的输出和下一轮对话系统动作，作为LSTM网络的输入，进行下轮用户动作和用户情感的预测。

4.根据权利要求3所述的一种有模型的情绪感知对话策略学习方法，其特征在于，步骤S2具体包括以下步骤：

S2.1、采用基于子目标分割的特征塑造方法，得到真实对话经验中第t轮交互的子目标分割特征向量u_t，评估真实对话经验中第t轮的对话任务的完成进度，减少目标空间；其中，第t轮的对话任务是指对话代理与人类用户进行第t轮交互时人类用户的请求；

S2.2、基于注意力门控循环单元(AGRU)进行对话上下文建模，对用户目标进行编码，从对话上下文中捕捉过往交互与用户目标的关联；

S2.3、构建世界模型的预测层网络为LSTM网络，给定对话状态s_t、对话上下文特征d^M、子目标分割特征向量u_t和对话代理动作实现世界模型对环境的模拟；

S2.4、基于LSTM网络的前瞻预测，利用LSTM网络的递归特性，构建前瞻预测模块来学习用户对于后续交互轨迹的预期。