[发明专利]一种基于自注意力的生成式文本摘要方法

权利要求书

1.一种基于自注意力的生成式文本摘要方法，其特征在于，包括以下步骤：

S1：建立基于自注意力机制的文本摘要模型，模型包括基于自注意力机制的编码器和基于注意力机制的解码器，其中编码器的参数被解码器共享；所述步骤S1的具体过程是：

S11：构建字词的向量表示层：先将文字转换成数字表示，即用向量表示层来完成；

S12：构建基于自注意力机制的编码器，编码器包括多头注意力层和全连接层，接收来自于向量表示层的向量，并提取其中隐藏的特征，以向量形式输出；

S13：构建基于注意力机制的解码器，解码器包括多头注意力层和全连接层，接收来自于编码器的特征，并根据此特征来生成摘要文本；

S2：建立文本摘要模型的对应的损失函数；所述步骤S2的具体过程是：

文本摘要模型的损失函数由负对数似然函数给出：

其中，为输入原文文本，为摘要序列，mn，似然函数表示在当前模型参数下，得到摘要序列的概率，而该概率，即在当前模型参数下，得到摘要序列中每个词的概率相乘：

；

S3：进行文本摘要模型的训练，并在目标文本数据集上测试；所述步骤S3的具体过程是：

S31：对于训练集中的输入原文文本，对其进行分词，每个词输入到向量表示层得到其对应的向量，并输入到编码器，编码器提取每个词的特征，对每个词产生一个向量，则对于原文序列有矩阵，对于训练集中的摘要序列，做相同的处理，得到矩阵表示；

S32：将S31得到的向量表示H和S，共同输入到解码器中，解码器来预测一个摘要序列；

S33：将和作为损失函数的输入，计算损失值，并进行梯度回传，以更新文本摘要模型参数，训练文本摘要模型；

S34：对于训练集中的所有数据，重复S31-S33，迭代10次左右，即可完成文本摘要模型的训练，将训练好的文本摘要模型保存。

2.根据权利要求1所述的基于自注意力的生成式文本摘要方法，其特征在于，用训练好的文本摘要模型在测试集上进行测试，生成测试集中每个输入文本对应的摘要序列，使用ROUGE评价方法来对生成的摘要序列质量进行量化评估。