[发明专利]关键短语提取方法及装置

说明书

本发明公开了一种关键短语提取方法及装置。其中，该方法包括：获取目标文本；从目标文本中提取若干个候选短语，其中，每个候选短语至少包括一个左边词和一个右边词，在同一个候选短语中，左边词位于右边词的左侧，右边词位于左边词的右侧；根据每个候选短语中左边词和右边词的相互关系，从若干个候选短语中提取出一个或者多个含有关键词的候选短语作为关键短语。本发明解决了相关技术中需要依赖短语词典或者大批量语料才能提取出关键短语的技术问题。

技术领域

本发明涉及计算机领域，具体而言，涉及一种关键短语提取方法及装置。

背景技术

目前，现有的关键短语提取方法主要包括如下几种：1、TF-IDF方法：通过计算各词语的TF-IDF值，选取出TF-IDF值较高的词语作为关键词；2、Text Rank方法：利用Text Rank算法对候选词进行图排序，选取排序前n位的词语作为关键词；3、KEA方法：将关键词提取看作对于单个词语的分类问题，选取TF-IDF值、首现位置、短语长度、相关结点数等作为特征，利用贝叶斯模型学习标注好的训练数据，并预测一个词语(或短语词典中存在的词组)是否为关键词或关键短语；4、频繁项挖掘方法：在大批的文本中(大于等于100)，通过共现统计，选取共现次数较高的词组作为关键短语。

其中，TF-IDF和Text Rank方法只能抽取单个词作为关键词，而单个词涵盖的信息比较贫乏，不利于充分理解文章大意；KEA方法由于采用了有监督的关键短语识别方法，需要大量人工标注好的语料作为训练数据，耗费人力，并且短语词典对于新数据的适应性较差；频繁项挖掘方法依赖大规模的文本数据，不适用于单篇文本关键短语的提取。综上所述，现有的关键短语提取技术要么只能抽取单个词，要么需要依赖短语词典或者大批量的语料才能提取出关键短语。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种关键短语提取方法及装置，以至少解决相关技术中需要依赖短语词典或者大批量语料才能提取出关键短语的技术问题。

根据本发明实施例的一个方面，提供了一种关键短语提取方法，包括：获取目标文本；从上述目标文本中提取若干个候选短语，其中，每个候选短语至少包括一个左边词和一个右边词，在同一个候选短语中，左边词位于右边词的左侧，右边词位于左边词的右侧；根据每个候选短语中左边词和右边词的相互关系，从上述若干个候选短语中提取出一个或者多个含有关键词的候选短语作为关键短语。

进一步地，每个候选短语中左边词和右边词的相互关系包括以下至少之一：每个候选短语中左边词和右边词之间的互信息，每个候选短语中左边词的右熵，每个候选短语中右边词的左熵。

进一步地，根据每个候选短语中左边词和右边词的相互关系，从上述若干个候选短语中提取出一个或者多个含有关键词的候选短语作为关键短语包括：

获取每个候选短语中左边词和右边词之间的互信息的值；和/或获取每个候选短语中左边词的右熵的值；和/或获取每个候选短语中右边词的左熵的值；根据上述互信息的值、上述左边词的右熵的值以及上述右边词的左熵的值中的至少一项确定每个候选短语的综合值；根据每个候选短语的综合值，从上述若干个候选短语中选出满足第一预设条件的候选短语；从选出的满足上述第一预设条件的候选短语中进一步提取出含有关键词的候选短语作为关键短语。

进一步地，从选出的满足上述第一预设条件的候选短语中进一步提取出含有关键词的候选短语作为关键短语包括：判断选出的满足上述第一预设条件的候选短语中的每一个是否包含至少一个上述关键词；若是，则将选出的满足上述第一预设条件的候选短语中包含了至少一个上述关键词的候选短语作为关键短语。

进一步地，在根据每个候选短语中左边词和右边词的相互关系，从上述若干个候选短语中提取出一个或者多个含有关键词的候选短语作为关键短语之前，上述方法还包括：预先从上述目标文本中提取一个或者多个关键词。