[发明专利]一种抽取式与生成式相结合的公文摘要生成模型

权利要求书

1.一种抽取式与生成式相结合的公文摘要生成模型，其特征在于：包括以下步骤：

①公文内容筛选：从公文数据语料中，对公文内容进行筛选，去除公文中的公文摘要噪声数据；

②数据清洗、预处理：对筛选后的公文进行文本预处理和清洗，获取文本数据，将文本数据进行预处理分词，再利用训练好的政务领域专用word2vec模型将分词后的词语表示成词向量；

③抽取式摘要模型：将词向量融合表示成句子向量，并将句子向量输入抽取式摘要模型，获取每个句子在公文中的重要性，选取重要性最大的句子作为抽取式摘要模型生成的弱标签摘要数据A；

④弱标签摘要数据A语义增强：对弱标签摘要数据A进行数据增强，增强摘要句子之间的语义连贯性，筛选去除抽取式摘要模型中置信度较小的样本；

⑤生成式摘要模型：将弱标签摘要数据A以及公文数据语料输入生成式摘要模型，并采用步骤①及步骤②的方法对公文数据语料进行处理；

⑥公文摘要：训练步骤⑤中的生成式摘要模型，获取公文摘要生成模型；

所述步骤③分为以下步骤：

(3.1)将每个句子中的词向量相加取平均，得到句子向量，采用余弦相似度的方法，获取公文中句子与句子之间的相似度；

(3.2)输入句子相似度矩阵，使用抽取式摘要模型，采用textrank算法，获取到每个句子在公文中的重要度，选取重要度高的句子作为抽取式摘要模型的弱标签摘要数据A；

所述步骤④中，对弱标签摘要数据A采用正则匹配的方式去除弱标签摘要数据A中的数字、网络字符以及特殊字符，并利用连接词词典，增加句子的语义连贯性，对弱标签摘要数据A进行增强。

2.如权利要求1所述的抽取式与生成式相结合的公文摘要生成模型，其特征在于：所述步骤①中，公文摘要噪声数据包括表格、具体叙述条文、名单列表，并采用正则匹配的方式去除公文中的表格、名单列表、具体叙述条文与公文正文之间的空白行。

3.如权利要求1所述的抽取式与生成式相结合的公文摘要生成模型，其特征在于：所述步骤②中，文本预处理和清洗为：去除筛选后的公文中的数字、网络字符以及特殊字符。

4.如权利要求1所述的抽取式与生成式相结合的公文摘要生成模型，其特征在于：所述步骤⑤中，生成式摘要模型采用基于Seq2Seq+Attention机制的方法生成公文摘要序列。

5.如权利要求4所述的抽取式与生成式相结合的公文摘要生成模型，其特征在于：所述Seq2Seq由基于LSTM的编码器和解码器组成，并采用Attention机制来增大重要信息权重。

6.如权利要求1所述的抽取式与生成式相结合的公文摘要生成模型，其特征在于：所述步骤②分为以下步骤：

(2.1)采用正则匹配的方式去除筛选后的公文中的数字、网络字符以及特殊字符；

(2.2)根据政务领域的特征构建政务领域停用词表及分词表，并采用jieba分词对公文数据进行分词；

(2.3)将步骤(2.1)中的公文进行政务领域词向量模型训练，获取政务领域专用word2vec模型；

(2.4)利用训练好的政务领域专用word2vec模型将分词后的词语表示成词向量。

7.如权利要求1所述的抽取式与生成式相结合的公文摘要生成模型，其特征在于：所述步骤⑤分为以下步骤：

(5.1)采用步骤①及步骤②的方法对公文数据进行处理；

(5.2)编码器对于输入的公文正文句子，用一个双向LSTM网络进行编码，其中在embedding部分使用政务领域专用word2vec词向量模型进行向量化表示；

(5.3)解码器采用单向LSTM网络模型，在每个时刻输入的公文数据语料由前一时刻的输出、前一时刻隐藏状态以及编码器产生的语义向量组成，输出为公文摘要序列；

(5.4)将步骤(5.1)～(5.3)中的数据输入生成式摘要模型。