[发明专利]一种利用预训练模型的吉布斯受限文本摘要生成方法

权利要求书

1.一种利用预训练模型的吉布斯受限文本摘要生成方法，其特征在于：利用Trans-BLSTM模型进行训练和生成文本摘要，Trans-BLSTM模型的训练流程如下：

(1)首先使用预训练语言模型Bert对文本的源序列x＝{x₁,x₂,...,x_n}进行词向量化，同时加入相对位置编码，得到文本的Word Embedding；

(2)在编码器阶段，利用多头注意力机制和Bi-LSTM来提取特征，训练模型，对模型进行微调，得到编码器的输出；

(3)和编码器端源序列的词嵌入方法一样，加入相对位置编码，得到目标序列y＝{y₁,y₂,...,y_m}的Word Embedding；

(4)解码器端的结构采用的是Transformer的解码器结构，参数和Transformer的参数保持一致；

(5)通过训练得到Attention矩阵，将Attention矩阵输入全连接层，然后经过Softmax计算得到词汇表的概率表示；

(6)最后，通过解码算法得到输出序列，解码器端融入LDA模型进行关键词提取，结合Gibbs采样算法来提取生成摘要。

2.根据权利要求1所述的一种利用预训练模型的吉布斯受限文本摘要生成方法，其特征在于：Trans-BLSTM模型将Transformer编码器部分的FFN(·)层改用Bi-LSTM并连接一个Linear层，而解码器部分保持不变。

3.根据权利要求2所述的一种利用预训练模型的吉布斯受限文本摘要生成方法，其特征在于：相对位置编码的计算如下式所示：

其中，i、j表示词表中对应位置索引，2k表示偶数维度，2k+1表示奇数维度，dz表示每个单个Attention的隐藏层的维度。

4.根据权利要求3所述的一种利用预训练模型的吉布斯受限文本摘要生成方法，其特征在于：步骤(6)中，先用LDA模型从文本中提取关键词，然后选择得分最高分的关键词作为开始标记；同时，将已经预测的句子加入到负候选集，下一次预测的时候，如果其在负候选集，就重复一次Gibbs采样算法。

5.根据权利要求4所述的一种利用预训练模型的吉布斯受限文本摘要生成方法，其特征在于：结合Gibbs采样算法的解码器端的流程如下：

初始状态为x₀＝[x_0,1,x_0,2,...,x_0,n]，t时刻状态为x_t＝[x_t,1,x_t,2,...,x_t,n]，通过如下流程采样x_t+1：

1)从[x_t,1,x_t,2,...,x_t,n]中采样第i个位置的x_t,i，并将其从序列中替换为[MASK]，得到序列x_t,-i＝[x_t,1,x_t,2,...,x_t,i-1,[MASK],x_t,i+1,...,x_t,n]；

2)计算x_t,-i在MLM模型中的生成概率分布p_t+1；

3)从p_t+1中采样一个y；

4)用y替换x_t,i，就得到