[发明专利]文本摘要生成系统

权利要求书

1.一种文本摘要生成系统，其特征在于：包括

文本编码器，利用一种层次化多尺度抽象建模方法从原始文本中捕获多层次、多尺度的语义信息；

动态记忆增强注意力网络，用于动态追踪注意力历史与提取文本中重要信息，提升解码器生成精炼、准确摘要的能力；

摘要解码器，利用单向长短期记忆网络逐词生成完整的文本摘要。

2.根据权利要求1所述的文本摘要生成系统，其特征在于，所述文本编码器包括

词嵌入层，将原始文档中的每个单词转化成词向量序列；

双向LSTM网络，获取输入的词向量序列，用来计算输入文本序列的正向隐藏层状态序列和反向隐藏层状态序列，根据输入文本序列的正向隐藏层状态序列和反向隐藏层状态序列生成整个输入本文序列的隐藏层向量；

层次化多尺度特征挖掘模块，利用不同的更新频率来对原始文本进行分层级建模，以捕获原始文本信息的多层次、多尺度的信息；

第一前馈神经网络，融合双向LSTM编码层与层次化多尺度特征挖掘模块的输出结果，得到最终文本向量。

3.根据权利要求1所述的文本摘要生成系统，其特征在于：所述文本编码器还包括

设置在双向LSTM网络和层次化多尺度特征挖掘模块之间的第二前馈神经网络，通过可训练的权重矩阵与偏置参数对双向LSTM网络输出的特征向量序列进行计算，用来学习与生成用来输入到特征挖掘模块合理的特征序列。

4.根据权利要求1所述的文本摘要生成系统，其特征在于：所述层次化多尺度特征挖掘模块包括高层的粗粒度编码层和低层的细粒度编码层；

所述高层的粗粒度编码层更新频率较低，用以捕获较长跨度的文本上下文依赖；所述低层的细粒度编码层则以较高的更新频率学习文本的邻近语义特征。

5.根据权利要求4所述的文本摘要生成系统，其特征在于：所述层次化多尺度特征挖掘模块将通过以下公式进行更新：

其中j∈[1，D]，t^j为所设定的第j层的超参数，t^j＝2^j-1。

6.根据权利要求1所述的文本摘要生成系统，其特征在于：所述动态记忆增强注意力网络通过“查询向量”q_t与键网络K生成当前时间刻“临时”的注意力分布α^r；

利用“临时”注意力分布α^r与值网络V计算“临时”上下文向量c^r，同时更新”临时”隐藏层状态

利用“临时”上下文向量c^r更新键网络K的记忆单元信息；

重复R轮上述三步操作。

7.根据权利要求1所述的文本摘要生成系统，其特征在于：所述利用“临时”上下文向量c^r更新键网络K的记忆单元信息包括添加操作与过滤操作。

8.根据权利要求1所述的文本摘要生成系统，其特征在于：所述摘要解码器基于注意力机制单向LSTM网络来逐字生成文本摘要，在每个解码时间刻t，单词输出的概率分布计算公式如下：

其中，W_o为可训练权重矩阵，c_t为当前时刻的编码端上下文向量，为t时刻解码器的隐藏层状态。

9.根据权利要求1所述的文本摘要生成系统，其特征在于：所述摘要解码器采用复制机制，解决生成式文本摘要中可能出现的未登录词的问题。

10.根据权利要求1所述的文本摘要生成系统，其特征在于：所述摘要解码器引入覆盖机制，解决所述摘要解码器引在不同解码时间刻生成重复词语的问题。