[发明专利]基于语义对齐的神经网络自动摘要模型

权利要求书

1.基于语义对齐的神经网络自动摘要模型，其特征在于，具体如下：

步骤1、预训练

在预训练阶段完成对模型训练的准备工作，包括：(1)利用分词工具对语料中的文本进行分词；(2)在分词的基础上获得语料相应的词典，词典大小可根据需要设定；构造完词典后将文本-摘要词汇序列中的词汇利用词汇在词典中的索引代替表示，得到文本-摘要词汇索引序列；

步骤2、Encoder

采用双层LSTM网络进行，第一层为双向LSMT，第二层为单向LSTM；具体如下：

步骤2.1双向LSTM网络

将预训练阶段生成的文本-摘要词汇索引序列输入双向LSTM网络，利用公式(1)和(2)获得文本输入词汇相应的前向隐状态和反向隐状态

其中，i∈[1,m]；

步骤2.2单向LSTM网络

首先将第一层双向LSTM网络生成的前后向隐状态进行拼接作为第二层单向LSTM网络的输入；然后利用单向LSTM网络生成输入文本第i个词汇对应的编码隐状态计算过程如公式(3)所示：

步骤3、Decoder

采用一层单向LSTM网络构造解码器，具体过程如下：

步骤3.1解码器隐状态

首先将encoder第二层LSTM网络计算得到末尾隐状态作为解码器的初始输入隐状态s₀，其中m为输入文本序列的长度，将文档结束符“eos”的向量作为解码器初始输入序列y⁰；然后利用初始输入隐状态和输入序列获取t₁时刻的解码隐状态s₁，计算过程如公式(4)所示：

s_t＝LSTM(s_t-1,y_t-1) (4)

其中，t∈[1,n]，n为输出摘要序列的长度；计算t₁时刻的解码隐状态时t＝1；y₁,...,y_n为训练语料中摘要词汇索引序列；

步骤3.2词汇预测上下文向量

根据注意力机制计算t时刻词汇预测的上下文向量C_t，C_t利用encoder第二层LSTM网络生成的词汇编码隐状态和解码器在t时刻的输入隐状态s_t-1进行计算，过程如公式(5)、(6)和(7)所示：

其中，V、W^e和b^e均为可训练的参数；

步骤3.3基于语义对齐的词汇预测上下文向量

通过语义对齐网络计算基于语义对齐的词汇预测上下文向量

首先将encoder第二层LSTM网络计算得到末尾隐状态作为文本的语义向量C_X；然后将语义向量C_X输入tanh函数生成摘要序列的语义向量C_y，计算过程见公式(8)：

C_y＝tanh(W^sC_X+b^s) (8)

其中，W^s和b^s为可训练的参数；

最后将C_y与步骤3.2中计算得出的C_t进行拼接生成解码器在t时刻基于语义对齐的词汇预测上下文向量计算方法如公式(9)所示：

步骤3.3词汇预测

首先将步骤3.1和3.2得到的t时刻解码隐状态s_t和基于语义对齐的词汇预测的上下文向量拼接，并输入tanh函数生成当前时刻的词汇预测向量计算过程如公式(10)所示：

其中，W^h、b^h为可训练的参数；

然后利用公式(11)将t时刻的词汇预测向量输入softmax函数，得到词汇预测的分布概率P_vocab(y)：

其中，W^y、b^y为可训练的参数；

步骤3.4模型训练

利用最小化公式(12)所示的损失函数进行模型参数训练，完成模型训练后，自动生成文本摘要；

其中，表示训练语料中摘要词汇索引序列；x表示输入的文本词汇索引序列；θ代表可训练参数V,W^e,b^e,W^s,b^s,W^h,b^h,W^y,b^y的集合。