[发明专利]一种改进的TextRank关键词提取方法及装置

说明书

本申请公开了一种改进的TextRank关键词提取方法及装置。在该方法中，首先构建文本的词共现网络，接着基于词共现网络并引入节点的度中心性和聚类系数两项复杂网络统计特征，得到节点的初始权重。然后依据相邻节点对节点的重要程度将初始权重分配给两节点之间的连边，确定连边权重，从而实现对连边加权，确定每个节点的重要性分值。进一步引入位置系数来对节点的重要性分值进行调整，确定每个节点的最终权重。最后依据每个节点的最终权重对节点进行排序后，确定文本的关键词。本申请通过节点本身的度中心性和聚类系数两项特征为连边加权，并结合节点的位置特征实现文本的关键词提取，能够有效提高关键词提取的准确率。

技术领域

本申请涉及自然语言处理技术领域，尤其涉及一种改进的TextRank关键词提取方法及装置。

背景技术

文本关键词是指能对文本内容进行精确概括，反映作者写作意图的重要词语，文本关键词不仅可以概况文本的主题，还可以反映文本的主要内容和情感倾向。因此，准确、高效的文本关键词提取对于文本聚类、文本摘要抽取和信息检索都至关重要。

传统的TextRank算法是一种基于图排序的关键词提取算法，它利用文本候选关键词在窗口中的共现关系，将相关联的候选关键词之间建立连边，构建词共现网络，通过公式迭代计算得到词共现网络中每个节点(节点是指词共现网络中的候选关键词)的权重，从而完成节点的排序，提取出文本的关键词。该算法仅利用文本本身的信息就能完成关键词提取，无需预先对数据进行大量训练，具有实现简单、语言相关性弱等优点。

但是传统的TextRank算法在进行关键词提取时，将词共现次数作为连边权重，却忽略了候选关键词本身的重要性，使得关键词提取的准确率较低。

发明内容

本申请公开一种改进的TextRank关键词提取方法及装置，用于解决现有技术中，传统的TextRank算法在进行关键词提取时，将词共现次数作为连边权重，却忽略了候选关键词词本身的重要性，使得关键词提取的准确率较低的技术问题。

本申请第一方面公开了一种改进的TextRank关键词提取方法，包括：

获取初始文本，并对所述初始文本进行预处理，确定候选关键词总集；所述预处理是指将所述初始文本划分为多个句子，对任一句子进行分词、词性标注、词性过滤以及去停用词处理后，确定任一句子对应的候选关键词集；所述候选关键词总集包括多个候选关键词集；

根据候选关键词总集，构建词共现网络；

根据所述词共现网络，获取第一节点及第二节点，所述第一节点为任一节点，所述第二节点为所述第一节点任一相邻的节点；

获取所述第一节点的度中心性，以及，获取所述第二节点的度中心性；

获取所述第一节点的聚类系数，以及，获取所述第二节点的聚类系数；

根据所述第一节点的度中心性、所述第一节点的聚类系数和预设的可调节参数，确定所述第一节点的初始权重；以及，根据所述第二节点的度中心性、所述第二节点的聚类系数和所述可调节参数，确定所述第二节点的初始权重；

根据所述词共现网络，获取节点总数、第一相邻节点的集合、第二相邻节点的集合，所述第一相邻节点是指与所述第一节点相邻的节点，所述第二相邻节点是指与所述第二节点相邻的节点；

根据所述第一节点的初始权重、所述第二节点的初始权重、所述第一相邻节点的集合和所述第二相邻节点的集合，确定所述第一节点与所述第二节点之间的连边权重；

根据所述节点总数、预设的阻尼系数、所述第一相邻节点的集合、所述第一节点与所述第二节点之间的连边权重和所述第二节点的初始权重，确定所述第一节点的重要性分值；

根据所述第一节点的重要性分值和预设的位置系数，确定所述第一节点的最终权重；