[发明专利]基于强化学习的情感对话异步生成模型生成文本的方法

说明书

本发明公开了基于强化学习的情感对话异步生成模型生成文本的方法，包括以下步骤：选择一个agent，x代表外界环境输入的句子，y代表agent针对输入给出的回答、使用结构预测器来预测回答中是否需要包含关键词、使用关键词预测器来生成对应的关键词和采用异步生成方法来生成文本；本发明在分析用户情感时通过结构预测器和关键词预测器生成合适的情感关键词，生成模块再以此为基础扩展出带有情感色彩的回复，生成的回答较具有更强的情感相关度、情感强度，更能够提升体验感，主题在回答中的表达更加清晰，通过异步解码器的异步生成框架，摒弃了一次性从左到右的生成全部的回复的做法，减少了单个解码器的压力，组合后的回答更加多样化。

技术领域

本发明涉及人工智能技术领域，尤其涉及基于强化学习的情感对话异步生成模型生成文本的方法。

背景技术

近年来，随着人工智能与机器人领域如火如荼的发展，情感计算(AffectiveComputing)在人工智能的人机交互相关研究中的地位越来越重要，兼具情感与智能的人工智能有更高的实用价值和现实意义，情感对话在教育行业、管理行业、贸易方面以及健康领域有着重要发展和深刻影响。

基于先验知识库的索引与匹配模型和基于传统RNN的神经网络语言模型是目前使用广泛的两种情感对话模型，但这两种模型均存在着一些缺陷，以上两种模型虽然可以注意到情感因素在对话系统中的重要性，但取得的效果却不尽人意，不能够很好的挖掘对话内容中的情感要素，生成的回答情感强度不可控、不细致，难以充分发挥情感在对话中的作用，生成的句子显得十分生硬和呆板，因此本发明提出基于强化学习的情感对话异步生成模型生成文本的方法，以解决现有技术中的不足之处。

发明内容

针对上述问题，本发明在分析用户情感的同时，通过结构预测器和关键词预测器生成合适的情感关键词，生成模块再以此为基础扩展出带有情感色彩的回复，生成的回答较具有更强的情感相关度、情感强度，更能够提升体验感，主题在回答中的表达更加清晰，通过异步解码器的异步生成框架，摒弃了一次性从左到右的生成全部的回复的做法，减少了单个解码器的压力，组合后的回答更加多样化。

本发明提出基于强化学习的情感对话异步生成模型生成文本的方法，包括以下步骤：

步骤一：选择一个agent，设定所述agent中x代表外界环境输入的句子，y代表agent针对输入给出的回答，然后给定一个问句post，利用编码器对问句post进行编码；

步骤二：首先根据输入的问句post，使用结构预测器来预测回答中是否需要包含关键词，以及关键词之间的位置关系，其中关键词为情感关键词和主题关键词；

步骤三：基于步骤二中的预测结果，使用关键词预测器来生成对应的关键词，并将生成的关键词作为先验知识指导回答的生成；

步骤四：生成关键词之后，采用异步生成方法来生成文本，然后对生成的回答进行连贯度、主题相关度以及情感相关度的指标考量，为了促进各个指标之间的学习，引入基于参数共享的多任务学习策略，在回答的生成过程中共享编码器，在各个子句的生成过程中，使用同一个编码器使各个指标相互结合，从整体的角度去衡量一个句子的质量，并对生成的子句进行计算奖励。

进一步改进在于：所述步骤二中结构预测器没有预测到关键词时，使用一个普通的前向解码器来生成回答，结构预测器预测到一个情感关键词时，采用异步解码器从情感关键词向前、向后生成回答，结构预测器预测到只有一个主题关键词时，采用异步解码器从主题关键词向前、向后生成回答，结构预测器预测到包含主题关键词和情感关键词，且顺序为主题关键词在前，情感关键词在后时，以两个关键词为界限将句子分为三部分，采用异步解码器依次生成三个子句，结构预测器预测到包含主题关键词和情感关键词，且顺序为情感关键词在前，主题关键词在后时，以两个关键词为界限将句子分为三个部分，采用异步解码器依次生成三个子句。