[发明专利]基于强化学习的情感对话异步生成模型生成文本的方法

权利要求书

1.基于强化学习的情感对话异步生成模型生成文本的方法，其特征在于：包括以下步骤：

步骤一：选择一个agent，设定所述agent中x代表外界环境输入的句子，y代表agent针对输入给出的回答，然后给定一个问句post，利用编码器对问句post进行编码；

步骤二：首先根据输入的问句post，使用结构预测器来预测回答中是否需要包含关键词，以及关键词之间的位置关系，其中关键词为情感关键词和主题关键词；

步骤三：基于步骤二中的预测结果，使用关键词预测器来生成对应的关键词，并将生成的关键词作为先验知识指导回答的生成；

步骤四：生成关键词之后，采用异步生成方法来生成文本，然后对生成的回答进行连贯度、主题相关度以及情感相关度的指标考量，为了促进各个指标之间的学习，引入基于参数共享的多任务学习策略，在回答的生成过程中共享编码器，在各个子句的生成过程中，使用同一个编码器使各个指标相互结合，从整体的角度去衡量一个句子的质量，并对生成的子句进行计算奖励。

2.根据权利要求1所述的基于强化学习的情感对话异步生成模型生成文本的方法，其特征在于：所述步骤二中结构预测器没有预测到关键词时，使用一个普通的前向解码器来生成回答，结构预测器预测到一个情感关键词时，采用异步解码器从情感关键词向前、向后生成回答，结构预测器预测到只有一个主题关键词时，采用异步解码器从主题关键词向前、向后生成回答，结构预测器预测到包含主题关键词和情感关键词，且顺序为主题关键词在前，情感关键词在后时，以两个关键词为界限将句子分为三部分，采用异步解码器依次生成三个子句，结构预测器预测到包含主题关键词和情感关键词，且顺序为情感关键词在前，主题关键词在后时，以两个关键词为界限将句子分为三个部分，采用异步解码器依次生成三个子句。

3.根据权利要求1所述的基于强化学习的情感对话异步生成模型生成文本的方法，其特征在于：所述步骤二中对于输入的问句post，首先利用编码器得出隐向量序列h，再通过一个全连接层算出z^s，具体过程如公式(1)所示：

其中，i∈{0,1,2,3,4},对于每个输入的问句post，编码器都会首先执行，并根据预测的回答结构确定下一步的工作。

4.根据权利要求1所述的基于强化学习的情感对话异步生成模型生成文本的方法，其特征在于：所述步骤三中采用关键词预测器生成对应的关键词时，首先利用预训练的LDA模型对输入的问句post进行分析，预测回答的主题类别，引入主题类别向量和情感类别向量，由类别算出对应的向量，再利用类别向量进一步预测关键词，生成先验知识，最后采用注意力机制来强化情感特征。

5.根据权利要求4所述的基于强化学习的情感对话异步生成模型生成文本的方法，其特征在于：所述步骤三中的先验知识需要综合，通过计算不同类别的知识向量k＝{k^et,k^tp}之间的相联度以及编码器的隐向量序列，作为注意力框架中的权重参数，其具体的计算细节如下公式(2)、(3)和(4)所示：

其中，*∈{et，tp}表示是主题或者情感，和为可训练的参数；信息最终被综合在权重向量c^k,*中，关键词的条件概率分别通过以下公式(5)和(6)进行计算：

其中，c^k,et和c^k,tp是利用公式(2)得出的，公式(5)和(6)可以看做是一种多类别的分类器，它会生成整个情感词典和主题词典上的概率分布，从而从词典中选出最合适的关键词。

6.根据权利要求1所述的基于强化学习的情感对话异步生成模型生成文本的方法，其特征在于：所述步骤四中采用异步生成方法来生成文本的具体过程为：将步骤一中设定的句子x送入模型中转化为向量表示，从而使agent更新自身状态，做出相应的动作，生成对应的回答，使用随机取样策略得出回答语句，并使用policy gradient策略进行网络训练。