[发明专利]关键词抽取方法、装置、电子设备和存储介质

说明书

本发明实施例提供一种关键词抽取方法、装置、电子设备和存储介质，其中方法包括：确定待抽取文本；将所述待抽取文本输入至关键词抽取模型，得到所述关键词抽取模型输出的所述待抽取文本的关键词抽取结果；其中，所述关键词抽取模型是以样本文本中样本分词的主题关联度和预测关键词概率之间的一致性为目标训练得到的。本发明实施例提供的关键词抽取方法、装置、电子设备和存储介质，通过以样本文本中样本分词的主题关联度和预测关键词概率之间的一致性为目标训练得到关键词抽取模型，使得关键词抽取模型确定得到的关键词，更能体现待抽取文本的主题信息，区分性更强，从而提高了关键词抽取的准确性。

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种关键词抽取方法、装置、电子设备和存储介质。

背景技术

关键词抽取方法能够从文档中抽取重要的关键词语，使读者可以迅速获知文档的核心内容，因此被广泛应用于信息检索、文本分类和文本聚类等领域。

目前的关键词抽取方法包括基于统计量化特征的抽取方法，以及基于主题模型的抽取方法。然而，基于统计量化特征的抽取方法会遗漏统计特征不明显的关键词，准确性欠佳；而基于主题模型的抽取方法得到的关键词过于宽泛，无法充分体现文档主题，因此抽取的关键词准确性也不足。

发明内容

本发明实施例提供一种关键词抽取方法、装置、电子设备和存储介质，用以解决现有技术中关键词抽取准确性欠佳的缺陷。

本发明实施例提供一种关键词抽取方法，包括：

确定待抽取文本；

将所述待抽取文本输入至关键词抽取模型，得到所述关键词抽取模型输出的所述待抽取文本的关键词抽取结果；

其中，所述关键词抽取模型是以样本文本中样本分词的主题关联度和预测关键词概率之间的一致性为目标训练得到的。

根据本发明一个实施例的关键词抽取方法，所述关键词抽取模型的损失函数包括主题关键词一致性损失函数；

所述主题关键词一致性损失函数是基于每一样本分词的主题关联度与预测关键词概率之间的距离确定得到的；

其中，任一样本分词的主题关联度和预测关键词概率均是基于所述任一样本分词的上下文语义表示确定的。

根据本发明一个实施例的关键词抽取方法，所述关键词抽取模型的损失函数还包括关键词预测损失函数，或，还包括关键词预测损失函数以及主题分类损失函数；

所述关键词预测损失函数表征所述样本文本的样本关键词抽取结果和样本关键词的差异度；

所述主题分类损失函数表征所述样本文本的预测主题类型和样本主题类型的差异度；

其中，所述预测主题类型是基于每一样本分词的主题关联度和上下文语义表示确定得到的。

根据本发明一个实施例的关键词抽取方法，所述样本关键词是基于如下步骤获取的：

遍历样本文本的标题中的每一标题分词，若当前标题分词与下一标题分词构成的词序列存在于所述样本文本的正文中，则将所述当前标题分词与下一标题分词构成的词序列作为当前标题分词；否则，将所述当前标题分词作为候选关键词，并将所述下一标题分词作为当前标题分词；

删除包含在其他候选关键词内的候选关键词，以及在所述样本文本的正文中出现次数小于预设数量的候选关键词，得到所述样本文本的样本关键词。

根据本发明一个实施例的关键词抽取方法，所述将所述待抽取文本输入至关键词抽取模型，得到所述关键词抽取模型输出的所述待抽取文本的关键词抽取结果，具体包括：

将所述待抽取文本中的每一分词输入至所述关键词抽取模型的上下文语义编码层，得到所述上下文语义编码层输出的每一分词的上下文语义表示；