[发明专利]关键词识别方法、装置、设备及介质

说明书

本公开提供了一种关键词识别方法，包括：对输入文本中的词进行分类，得到每个词的关键词概率，计算所述输入文本中词与词之间的相关性得分，根据所述相关性得分计算所述输入文本中各词的重要性得分，根据所述关键词概率及所述重要性得分计算所述输入文本中各词的关键词得分，根据所述关键词得分识别所述输入文本中的关键词。本公开还提供了一种关键词识别装置，一种电子设备及一种可读存储介质。

技术领域

本公开涉及计算机技术领域，更具体地，涉及一种关键词识别方法、装置、设备及介质。

背景技术

文本关键词识别任务是在输入文本中识别出关键词的任务。通常来说，实现该任务的方法有两种。第一种是有监督的方法，根据输入文本中的关键词标签，训练一个序列标注任务。第二种是无监督的方法，比如基于图的方法，将文本中的词作为图的节点，节点之间的边为词与词之间的关系，通过基于图的算法计算每个词的重要性得分，抽取出得分高的词作为关键词。

然而，有监督的方法依赖于标注数据，倾向于挖掘输入文本与输出标签的相关性，而忽视了输入文本之间的相关性，关键词识别的准确性较低。无监督的方法依赖于构图的准确性，即图中每个词之间的相关性计算，一般来说，词之间的相关性可以通过词向量之间的余弦相似度或tf-idf(用于信息检索与数据挖掘的常用加权技术)向量余弦相似度进行表示，但这些基于静态向量的方法对词与词之间的相似度建模不足，无法准确的表征词与词之间的相似度，关键词识别的准确性也较低。

发明内容

有鉴于此，本公开提供了一种关键词识别方法、装置、设备及介质。

本公开的一个方面提供了一种关键词识别方法，包括：对输入文本中的词进行分类，得到每个词的关键词概率；计算所述输入文本中词与词之间的相关性得分；根据所述相关性得分计算所述输入文本中各词的重要性得分；根据所述关键词概率及所述重要性得分计算所述输入文本中各词的关键词得分；以及根据所述关键词得分识别所述输入文本中的关键词。

根据本公开的实施例，所述对输入文本中的词进行分类，得到每个词的关键词概率包括：基于Transformer的预训练模型，对所述输入文本进行编码，生成一系列隐层序列，其中，所述隐层序列中的每一元素代表一个词；对所述一系列隐层序列中最上层的隐层序列进行分类，得到每个词的关键词概率。

根据本公开的实施例，所述计算所述输入文本中词与词之间的相关性得分包括：基于Transformer的预训练模型，对输入文本进行编码，生成隐层语义向量，其中，所述隐层语义向量包括所述输入文本的查询向量及键值对中键对应的向量；根据所述查询向量及所述键对应的向量计算输入文本中词与词之间的相关性得分。

根据本公开的实施例，所述Transformer的预训练模型包括至少一层Transformer层，针对于每一层Transformer层，根据：

计算所述相关性得分，其中，i、j表示所述输入文本中词的编号，n表示Transformer层的层数编号，表示第n层Transformer层获取的第i词及第j个词之间的相关性得分，Q表示所述查询向量，K表示所述键对应的向量，T表示K的转置，为比例因子，soft max()表示归一化指数函数；根据：

计算第i词及第j个词之间的最终相关性得分，其中，L表示所述Transformer层的总层数，D_i，j表示第i词及第j个词之间的最终相关性得分。

根据本公开的实施例，所述根据所述相关性得分计算所述输入文本中各词的重要性得分包括：根据s_i＝∑_iD_i，j计算所述重要性得分；其中，i、j表示所述输入文本中词的编号，D_i，j表示第i个词及第j个词之间的最终相关性得分，s_i表示第i个词的重要性得分。