[发明专利]自动建立关键词索引表的方法

说明书

技术领域

本发明涉及一种计算机技术，具体说，涉及一种自动建立关键词索引表的方法。

背景技术

关键词用于表征文档的重要信息和核心内容，便于得到文档的摘要信息和检索具体文档。传统的关键词提取一般采用人工提取，而人工提取关键词非常费时，随着文档数量的剧增，人工提取关键词越来越不能满足实际应用的需求。因此，如何自动提取关键词是文档检索研究的一个热点难点。

关键词提取是文本挖掘领域的基础性研究问题，许多文本挖掘系统以关键词所在的句子作为文摘句，大多聚类和分类算法也是用关键词算法构造文章的特征向量以提高算法的准确度同时降低特征空间的维度。目前多数关键词提取算法是利用词的统计信息判断词的重要性，并选取超过一定阀值的词作为文章的关键词，基于这种方法提出了多个关键词衡量函数，包括TFIDF、熵函数、分布系数等。

许多机器学习算法也应用于关键词提取，例如朴素贝叶斯算法、决策树和最大熵算法。上述算法通过训练语料获得提取函数，然后选取能够使提取函数得到最大值的词作为关键词。

由于文档包含信息的多样性，使得现实应用中很难获得一个通用的提取函数或模型用于关键词提取。现有的关键词自动提取算法可以分为3大类：

1、基于统计的方法，该方法简单易行不需要复杂的算法过程，如词语频率统计方法。

2、基于规则的方法，根据一定规则将文档映射为词语网络，利用词语网络计算词语的关键度，如采用朴素贝叶斯技术对短语离散的特征值进行训练，获取模型的权值，然后从文档中抽取关键词。

以上两类方法都是从频度或规则上提取关键词，没有考虑到词语的语义、词性等信息，相对来说精确度不高。

3、基于上下文语义的自然语言理解的方法，该方法主要利用词义或语义和词性特征来提取关键词，配合上述两类方法，能从文档中提取出较高正确率的关键词。这是自动提取关键词的主要研究方向。

发明内容

本发明所解决的技术问题是提供一种自动建立关键词索引表的方法，与传统的关键词提取方法相比，在查准率和召回率上有明显提高。

技术方案如下：

一种自动建立关键词索引表的方法，包括：

对待翻译文档进行分词处理获得文档的词语列表，对该词语列表进行词性标注；

过滤所述词语列表中的候选关键词，获得粗候选词语集合，获取所述粗选词语集合中候选关键词各个义项的代码，两个义项的代码距离表征义项的语义距离；

根据词语的语义相似度，对粗选词语集合中候选关键词进行构建同义词词链，得到同义词链集合；

获取所述同义词链集合中词汇的词语权值，按照所述词语权值提取关键词，组成关键词集合；

将所述关键词集合和已有的参考库关键词索引集合比较，如果所述参考库关键词索引集合包含所述关键词集合中的候选关键词，则给出相关文档集；如果不包含所述候选关键词字，将所述候选关键词加入参考库关键词集合，同时建立索引。

进一步，对待翻译文档进行分词处理和词性标注的过程包括：

对待翻译文档进行分词处理，获得文档的所有词语列表；

对该词语列表进行词性标注，将词汇按照停用词、形容词、副词、名形词、成语、简称略语、习用语、动词、动语素、副动词、名动词和名词等词性分类标准进行词性标注。

进一步，过滤候选关键词的过程包括：去除所获词语列表中的停用词，保留形容词、副词、名形词、成语、简称略语、习用语、动词、动语素、副动词、名动词和名词，获得所述粗候选词语集合。

进一步，构建同义词链集合的步骤包括：

计算候选词集合W中的每个词汇在文本中出现的次数t；

根据词汇的t值的大小对W中所有的词汇按降序排列，假设排序后W＝{w₁，w₂，…，w_n}，并为每个词汇设立一个开关项F，F=1表示该词汇已成为某同义词集中的元素，初始全部设为0；

将W中w₁作为第一个词集WG₁的第一个元素，将w_i（2≤i≤n）中F值不为1的词语与w₁按式1进行语义相似度计算，当其语义相似度大于阈值0.7时，认定w_i属于WG₁，将w_i插入词集WG₁中，并将w_i的F值改为1；