[发明专利]摘要提取和摘要抽取模型训练方法及相关装置、存储介质

权利要求书

1.一种摘要提取方法，其特征在于，包括：

对文本进行分句得到句子列表；

按照预设长度对所述句子列表按顺序进行窗口划分得到多个窗口，所述预设长度为摘要抽取模型支持的最大序列长度，每个所述窗口包括多个连续的句子且长度小于或等于所述预设长度，相邻的两个窗口包括至少一个相同的句子；

利用所述摘要抽取模型分别对每个所述窗口进行预测，得到每个所述窗口中每个所述句子的重要性得分；

利用所述每个所述窗口中每个句子的重要性得分确定所述文本中每个句子的重要性得分；

选择按所述重要性得分从高到低排序靠前的至少一个所述句子作为所述文本的摘要。

2.根据权利要求1所述的方法，其特征在于，

所述利用所述每个所述窗口中每个句子的重要性得分确定所述文本中每个句子的重要性得分包括：

若所述句子只存在于一个所述窗口中，则将所述句子在所述窗口中的重要性得分作为所述句子的重要性得分；

若所述句子存在于至少两个所述窗口中，则将所述句子在所有所述窗口中的重要性得分的平均值作为所述句子的重要性得分。

3.根据权利要求1所述的方法，其特征在于，

所述窗口长度小于或等于所述预设长度，并且若向所述窗口加入下一句子，所述窗口的长度大于所述预设长度，所述下一句子为在所述窗口的结尾句子之后的相邻句子。

4.根据权利要求1所述的方法，其特征在于，

所述利用所述摘要抽取模型分别对每个所述窗口进行预测包括：

对所述窗口进行预处理；

将预处理后的所述窗口输入所述摘要抽取模型，得到所述窗口的篇章语义信息和所述窗口中每个所述句子的句子语义信息；

利用所述篇章语义信息对每个所述句子的所述句子语义信息进行修正得到每个所述句子的篇章级句子语义信息；

分别对所述篇章级句子语义信息进行概率化处理得到所述窗口中每个所述句子的重要性得分。

5.根据权利要求4所述的方法，其特征在于，

所述摘要抽取模型为基于双向转换的编码器的摘要抽取模型，所述摘要抽取模型包括嵌入层和转换层，所述将预处理后的所述窗口输入所述摘要抽取模型，得到所述窗口的篇章语义信息和所述窗口中每个所述句子的句子语义信息包括：

将预处理后的所述窗口输入所述嵌入层，得到所述窗口中所有的词语义特征、句子语义特征和句子位置特征；

将所述词语义特征、句子语义特征和句子位置特征送入所述转换层得到所述窗口的篇章语义信息和所述窗口中每个所述句子的句子语义信息。

6.根据权利要求1-5中任一项所述的方法，其特征在于，

所述利用所述摘要抽取模型分别对每个所述窗口进行预测之前进一步包括：

训练适用于摘要抽取的基于双向转换的编码器模型；

利用所述适用于摘要抽取的基于双向转换的编码器模型构建所述摘要抽取模型；

利用文本摘要训练集训练所述摘要抽取模型。

7.根据权利要求6所述的方法，其特征在于，

所述适用于摘要抽取的基于双向转换的编码器模型的训练设置包括以下至少一种：

批处理大小大于第一预设值；

损失函数包括预测两句是否在同一篇章的损失函数；

每次训练的序列长度大于第二预设值；

每次训练动态分配遮蔽词的处理方式；

所述遮蔽词的处理方式包括丢弃所述遮蔽词；

采用短语和/或命名实体作为遮蔽词。

8.根据权利要求6所述的方法，其特征在于，

所述利用所述适用于摘要抽取的基于双向转换的编码器模型构建所述摘要抽取模型之前进一步包括：

利用所述文本摘要训练集对所述适用于摘要抽取的基于双向转换的编码器模型进行领域微调。