[发明专利]一种基于BERT预训练模型的文本摘要生成方法

权利要求书

1.一种基于BERT预训练模型的文本摘要生成方法，其特征在于，包括以下步骤：

步骤一：对文本数据集进行去除特殊字符、动画表情进行转换、日期标签替换、超链接URL、替换数字、英文标签替换在内的预处理；

步骤二：对预处理后的数据进行BERT预训练；

步骤三：将BERT预训练得到的句向量转化成词向量；

步骤四：对LeakGAN模型进行优化，判别器中加入注意力机制，将词向量输入加入了注意力机制的LeakGAN模型进行训练，生成摘要；

判别器的训练过程是有监督的训练，通过对生成器G_θ采样获得生成数据集S_G，真实数据集为S，将生成数据和真实数据标签化后，训练判别器；

训练的目标函数如下：

其中，表示的是输入序列是真标签的概率值，在固定判别器训练生成器的时候，要求真实数据输出的概率尽可能的接近1，生成数据输出的概率尽可能接近0；

在生成器的训练中，判别器的行为有：

sigmoid(z)＝(1/1+e^-z)，是判别器的特征提取层输出的高维特征向量，s是生成序列；

当生成器准备生成下一个词的时候，生成器会把当前生成的部分序列，使用蒙特卡洛树搜索补充为完整的输入序列s，传递给判别器，帮助Manager模块获得指导下一个词生成的高维特征向量；

判别器获得输入序列s后，在经过特征提取层后，得到高维特征向量，然后，判别器不仅把高维特征向量传递到下一步的分类层，还将高维特征向量反馈给生成器的Manager模块用来指导文本生成；

之后当高维特征向量传递到分类层后，还会向生成器反馈一个奖励值标量，表明当初生成词的好坏，用来生成器的参数优化：

y_t表示当前生成的序列，Y_1:t-1表示之前生成的序列，MC^G(Y_1:T；N)表示把当前生成的部分序列使用蒙特卡洛树搜索补充成完整的文本序列；

使用全零的隐藏状态初始化Manager模块和Worker模块的和接下来的每一时间步，Manager模块结合当前的隐藏状态和判别器传递的特征向量f_t输出目标向量g_t：

G^M(·)表示模块的LSTM网络结构，h^M表示Manager模块LSTM网络的每个时间步的隐藏状态，θ_M表示Manager模块LSTM网络的相关参数，a_t表示Manager模块LSTM网络的每个时间步的输出；

对Manager模块输出的目标向量做线性变换操作，于是对最近输出的n个目标向量g_t先进行和操作，然后使用权重矩阵W_c做线性变换，最后输出k维的目标嵌入向量v_t：

Manager模块输出的目标嵌入向量v_t传递给Worker模块，并与Worker模块LSTM网络的输出向量O_t做点乘操作，然后把点乘的结果输入到softmax函数进行归一化操作，输出一个字典大小的分布；

G_θ(·|S_t)＝softmax(O_t·v_t) (9)

G^W(·)表示Worker模块的LSTM网络结构，x_t代表当前的词，h^W表示Worker模块LSTM网络的隐藏状态，θ_W代表Worker模块LSTM网络的相关参数，O_t表示Worker模块LSTM网络的输出向量，大小为|V|×k的矩阵，S_t表示当前生成的部分序列；

生成器继续通过蒙特卡洛树搜索将当前生成的部分序列补充完整，传递给判别器对当前生成的单词进行评分同时也会得到指导接下来生成过程的高维特征向量，进行下一个词的生成。