[发明专利]基于注意力编码器的抽取式新闻摘要生成装置

说明书

一种基于注意力编码器的抽取式新闻摘要生成装置，包括：语句编码器，用于获取文档，并将文档划分为多个句子；文档编码器，用于根据所述多个句子与多个句子之间的关系获取文档表示；语句抽取器，用于根据所述多个句子与所述文档表示抽取用于作为摘要的句子。能够更好的捕获句子间的联系和依赖关系，从而准确的进行摘要的提取，在生成摘要时可以展示更丰富的信息。

技术领域

本发明涉及文档摘要抽取技术领域，特别涉及一种基于注意力编码器的抽取式新闻摘要生成装置。

背景技术

随着当下新闻数据的急剧增长，发展自动文摘系统的需求愈发迫切。抽取式文本摘要的方法是通过从文档中抽取显著包含文档主要信息的句子来生成摘要，这样生成的摘要更加通顺。在解决序列化问题中展现强大功能的编码-解码结构，已经成功应用到生成抽取式摘要中，其中编码器读入源句子并用固定长度的向量进行表示，随后解码器输出预测的每个句子的标签，即决定是否抽取某个句子作为摘要的一部分。

但是，现有的针对自动文摘问题的基于编码-解码结构的方法过多地关注解码器部分，即这些方法通常在解码部分使用注意力机制，而不是在编码器中收集文档的更多信息。他们的关注点在于获取与源文档更加相关的句子，但却忽略了不同句子之间的关系。句子之间的关联信息同样包含了文档的很多特征，而且这些特征对选取文档的多种信息是很有帮助的。因此，相关技术需要改进。

发明内容

本发明的目的是提供一种基于注意力编码器的抽取式新闻摘要生成装置，能够更好的捕获句子间的联系和依赖关系。

为解决上述问题，本发明的第一方面提供了一种基于注意力编码器的抽取式新闻摘要生成装置，包括：语句编码器，用于获取文档，并将文档划分为多个句子；文档编码器，用于根据所述多个句子与多个句子之间的关系获取文档表示；语句抽取器，用于根据所述多个句子与所述文档表示抽取用于作为摘要的句子。

进一步地，所述文档编码器还包括：第一层，所述第一层用于获取多个句子之间的联系。第二层，所述第二层用于获取根据多个句子和多个句子之间的联系获取文档表示。

进一步地，所述第一层根据注意力机制获取多个句子之间的联系。

进一步地，所述第一层根据以下公式计算多个句子之间的联系：

其中，是在时刻t对第j个隐状态的归一化权重，是第j个隐状态。

进一步地，所述第一层和所述第二层分别通过双向循环神经网络获取隐状态。

本发明的上述技术方案具有如下有益的技术效果：能够更好的捕获句子间的联系和依赖关系，从而准确的进行摘要的提取，在生成摘要时可以展示更丰富的信息。

附图说明

图1为根据本发明实施例的基于注意力编码器的抽取式新闻摘要生成装置的方框示意图；

图2为根据本发明实施例的基于注意力编码器的抽取式新闻摘要生成装置的结构示意图；

图3为根据本发明实施例的文档编码器的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

在附图中示出了根据本发明实施例的层结构示意图。这些图并非是按比例绘制的，其中为了清楚的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状以及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。