[发明专利]一种关键词提取方法、装置及电子设备

说明书

本发明实施例提供了一种关键词提取方法、装置及电子设备，包括：对待处理文本进行分词，得到多个分词，确定每个分词的词向量；根据每个分词的词向量及训练好的BLSTM网络，确定每个分词的标签概率向量；针对待处理文本的每个句子，根据该句子中每个分词的标签概率向量，对该句子进行CRF解码，确定该句子中每个分词的分类标签；将每个句子中分类标签为预设分类标签的分词确定为该句子的关键词；将待处理文本中每个句子的关键词，作为待处理文本的关键词。本发明实施例通过BLSTM网络和CRF解码搭建神经网络训练出网络，能够省去传统方法中人工构建特征的工作，提高关键词提取的泛化能力。

技术领域

本发明涉及计算机技术领域，特别是涉及一种关键词提取方法、装置及电子设备。

背景技术

关键词是能反映文本主题的词或者短语，是人们快速了解文本内容和把握文本主题的重要依据。例如，在新闻报道中，通过关键词可以把握新闻报道的主题和关键内容等。在论文中，通过关键词可以明确论文的领域和研究主题等。目前，关键词提取技术已经被广泛地应用于信息检索和文本分类等领域。互联网进入Web2.0时代，许多网站向用户推荐他们感兴趣的对象，如视频、新闻、书籍等，也需要运用关键词提取技术，在满足用户的同时也可以更细粒度、更科学地投放内容，达到双赢。

目前的关键词提取方法中，一般分为两步：选取候选关键词和推荐关键词。其中，选取候选关键词时，需要先判定出候选关键词的边界，例如通过N-gram网络确定候选关键词时，需要确定N的取值，即认为候选关键词与N元词串的内部关联有关。推荐关键词时，需要在候选关键词中选出关键词，例如通过有监督方法将关键词的推荐问题转换为二分类问题，即判断每个候选关键词是否为关键词。

然而，发明人在实现本发明的过程中发现，现有技术至少存在如下问题：通过有监督方法需要人工构建大量的特征，以便训练一个性能较好的网络。然而人工构建特征，需要针对不同的领域构建不同的特征，泛化能力差且需要花费大量的时间和精力，并且人工构建特征的好坏直接影响训练网络的好坏。

发明内容

本发明实施例的目的在于提供一种关键词提取方法、装置及电子设备，以省去现有技术中人工构建特征的工作，并提高关键词提取的泛化能力。具体技术方案如下：

为达到上述目的，第一方面，本发明实施例公开了一种关键词提取方法，该方法包括：

对待处理文本进行分词，得到所述待处理文本对应的多个分词，并确定每个分词的词向量；

根据所述每个分词的词向量以及已训练好的双向长短期记忆BLSTM网络，确定所述每个分词的标签概率向量；其中，所述BLSTM网络是根据训练文本和所述训练文本的关键词在所述训练文本中的标注结果，对初始BLSTM网络训练后得到的；所述每个分词的标签概率向量是由所述每个分词对应于多个分类标签中每个分类标签的概率组成的向量；

针对所述待处理文本中的每个句子，根据该句子中每个分词的标签概率向量，对该句子进行CRF解码，确定该句子中每个分词对应的分类标签；

将所述每个句子中分类标签为预设分类标签的分词确定为该句子对应的关键词；

将所述待处理文本中所述每个句子对应的关键词，作为所述待处理文本的关键词。

可选地，训练BLSTM网络的步骤包括：

获取训练文本和所述训练文本的关键词，其中，所述训练文本的关键词在所述训练文本中已至少被标注一次；根据所述训练文本的关键词和该关键词在所述训练文本中的标注结果，对所述训练文本的关键词进行补充标注，得到补充标注后的训练文本；

对所述补充标注后的训练文本进行分词，得到所述补充标注后的训练文本对应的多个分词，并确定所述补充标注后的训练文本对应的每个分词的词向量；