[发明专利]基于PEGASUS与实体链的舆情文本摘要生成方法及相关装置

权利要求书

1.基于PEGASUS与实体链的舆情文本摘要生成方法，其特征在于，包括：

获取舆情文本作为训练数据，并对训练数据进行预处理；

对预处理后的训练数据进行二次处理，得到伪摘要，对伪摘要进行分词得到实体词；

通过串联实体词得到摘要实体链，将摘要实体链与伪摘要进行合并作为标签数据；

将训练数据与标签数据送入PEGASUS进行训练；

训练后的模型，先基于输入文本生成实体链，再基于输入文本与实体链生成摘要，计算过度生成摘要的忠实度与多样性得分，选择最优的摘要作为最终输出。

2.根据权利要求1所述的基于PEGASUS与实体链的舆情文本摘要生成方法，其特征在于，所述对训练数据进行预处理，包括：

使用舆情文本作为训练数据,对舆情文本数据进行清洗，去掉原始数据中的符号表情、特殊字符以及URL。

3.根据权利要求1所述的基于PEGASUS与实体链的舆情文本摘要生成方法，其特征在于，所述对预处理后的训练数据进行二次处理，得到伪摘要，对伪摘要进行分词得到实体词，包括：

使用TextRank算法辅以人工选择训练数据的关键语句，对训练数据中的关键句子整个进行屏蔽或者删除，并将其作为剩余句子的伪摘要；

使用jieba分词算法对伪摘要进行分词，筛选分词词性，将名词、地点名词以及时间名词作为实体词进行保留。

4.根据权利要求1所述的基于PEGASUS与实体链的舆情文本摘要生成方法，其特征在于，所述通过串联实体词得到摘要实体链，将摘要实体链与伪摘要进行合并作为标签数据，包括：

使用‘|’串联同一句子的实体词，组成句子实体链，使用‘|||’串联不同句子实体链，构成整个摘要实体链；使用[CONTENT]作为摘要实体链的头，[SUMMARY]作为摘要实体链与伪摘要的分割，将摘要实体链与伪摘要进行合并作为标签数据。

5.根据权利要求1所述的基于PEGASUS与实体链的舆情文本摘要生成方法，其特征在于，训练模型，包括：

设置输入模型的训练数据最大长度为500，超出的词丢弃，不足的补齐；训练时学习率lr设置为0.00001，训练轮次epochs为50轮，批次长度batch_size为2，进行梯度裁剪，采用学习率预热策略，使用早停策略，即当模型在3个轮次内效果未有提升，则保存模型，结束训练。

6.根据权利要求1所述的基于PEGASUS与实体链的舆情文本摘要生成方法，其特征在于，模型先基于输入文本生成实体链，再基于输入文本与实体链生成摘要过程中，使用核采样控制实体链的生成，使用束搜索控制摘要的生成。

7.根据权利要求6所述的基于PEGASUS与实体链的舆情文本摘要生成方法，其特征在于，生成阶段同时采用过度生成策略，PEGASUS同时生成20条摘要，使用鉴别器模块分别计算摘要的忠实度与多样性得分，最后通过加权求和得到摘要的最终得分，选择最优的摘要作为最终输出。

8.基于PEGASUS与实体链的舆情文本摘要生成系统，其特征在于，包括：

数据获取模块，用于获取舆情文本作为训练数据，并对训练数据进行预处理；

实体词获得模块，用于对预处理后的训练数据进行二次处理，得到伪摘要，对伪摘要进行分词得到实体词；

标签数据获得模块，用于通过串联实体词得到摘要实体链，将摘要实体链与伪摘要进行合并作为标签数据；

训练模块，用于将训练数据与标签数据送入PEGASUS中进行训练；

输出模块，用于训练后的模型，先基于输入文本生成实体链，再基于输入文本与实体链生成摘要，计算摘要的忠实度与多样性得分，选择最优的摘要作为最终输出。

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述基于PEGASUS与实体链的舆情文本摘要生成方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于PEGASUS与实体链的舆情文本摘要生成方法的步骤。