[发明专利]基于注意力编码器的抽取式新闻摘要生成装置

权利要求书

1.一种基于注意力编码器的抽取式新闻摘要生成装置，其特征在于，包括：

语句编码器，用于获取文档，并将文档划分为多个句子；

文档编码器，用于根据所述多个句子与多个句子之间的关系获取文档表示；

语句抽取器，用于根据所述多个句子与所述文档表示抽取用于作为摘要的句子；

所述文档编码器还包括：

第一层，所述第一层用于获取多个句子之间的联系；

第二层，所述第二层用于获取根据多个句子和多个句子之间的联系获取文档表示，

所述第一层和所述第二层分别通过双向循环神经网络获取隐状态；

所述第一层根据注意力机制获取多个句子之间的联系；

在t时刻，语句抽取器30获取文档编码器20的第二层的隐状态以及语句抽取器30的隐状态对第t个句子的标签做出预测：

其中，d为所述语句编码器获取的文档；

其中，s_t为所述文档d划分为多个句子中的第t个句子；

其中，y_t是第t个句子的类别标签，取值为0或1，当y_t取值为1时，表示句子s_t被抽取，当y_t取值为0时，表示句子s_t不被抽取；

其中，表示一个多层网络，计算过程为：

其中，U₁、U₂和V均是语句抽取器30中神经网络的权重矩阵，可通过训练获得，语句抽取器30的隐状态可根据以下公式计算：

对句子的标签的预测结果为：

2.根据权利要求1所述的基于注意力编码器的抽取式新闻摘要生成装置，其特征在于，所述第一层根据以下公式计算多个句子之间的联系：

其中，是在时刻t对第j个隐状态的归一化权重，是第j个隐状态。