[发明专利]一种面向文本的知识单元关联关系挖掘方法

说明书

技术领域

本发明涉及一种网络数据的检索方法，特别涉及一种面向文本的知识单元关联关系挖掘方法。

背景技术

随着计算机网络的迅速发展和日益普及，因特网上的信息以指数增长。信息时代带来了海量的数字化文本，日益积累的数据使得信息的获取越来越困难。人们的时间和精力是有限的，面对如此巨大的数字资源，无法从大量数据中迅速而准确地找到有用的信息，因而需要自动化的抽取工具，来帮助人们检索海量数据。申请人经过查新，没有找到面向文本的知识单元关联关系挖掘方法的专利，因而检索了三篇与关系挖掘相关的专利，它们分别是：

1.Relation extraction system[International Publication Number：WO2009/017464A1]；

2.Method and a system for semantic relation extraction[Publication Number：US 2009/0019032 A1]；

3.一种词关系挖掘方法和装置[申请公布号：CN 102129427 A]。

在专利1中，发明人提出一种将有监督学习和半监督学习相结合的方法，抽取出文本间的关系，在专利2中，发明人提出一种基于概率统计模型抽取出两个词条间的语义关系，在专利3中，发明人提出一种通过计算候选关系、关系频度以及词条的词频计算互信息，根据互信息对关系进行排序，将符合预设阈值的关系作为词条关系输出。上述三种相关专利发明所述方法都需要对所有可能的关系对进行分类，存在计算量大、计算复杂度高的缺点。

发明内容

本发明的目的是提供一种面向文本的知识单元关联关系挖掘方法，通过挖掘文本间的关系、筛选候选知识单元对和知识单元特征抽取的方法，对文本中的知识单元关联关系进行挖掘，从而可以大大减少计算量，降低计算复杂度。所述知识单元是指具有完备知识表达的最小单元。所述知识单元关联关系是指知识单元间内在的语义关系。

为达到以上目的，本发明是采取如下技术方案予以实现的：

一种面向文本的知识单元关联关系挖掘方法，包括如下步骤：

(1)文本关联挖掘：对文本集合进行聚类，找到具有相似主题的文本对，并利用核心术语分布的不对称性，挖掘文本间的线性关联关系；

(2)生成候选知识单元对：利用知识单元关联关系的局部性，产生候选的知识单元对；

(3)特征选择及知识单元关联关系挖掘：基于知识单元对的术语词频、距离和语义类型特征，使用SVM分类器将候选的知识单元对进行二值分类，挖掘知识单元间的关联关系。

其中，步骤(1)所述挖掘文本间的线性关联关系按照如下过程：

1)依据向量空间模型VSM，将文本转换为对应的术语向量；

2)根据欧式距离的定义，计算任意两个术语向量之间的距离；

3)基于术语向量之间的距离，使用AGNES聚类方法对文本集合进行聚类，在AGNES聚类过程中，以下三种情况生成文本对k＝(t_i，t_j)：

a.如果文本t_i与文本t_j的术语向量距离最小，将文本t_i和文本t_j合并为一个簇；

b.如果文本t_i与文本t_j的术语向量距离最小，且t_i属于簇S中，将文本t_j放入簇S中；

c.如果文本t_i与文本t_j的术语向量距离最小，且t_i属于簇S，t_j属于簇S′，将簇S和簇S′合并为一个新的簇；

当集合中只存在一个簇，且所有文本都在此簇中，则聚类过程结束；

4)在文本线性关联关系已知的文本集合T中，文本t_m线性关联于文本t_n，计算其术语分布特征值F(m，n)；

术语分布特征值F(m，n)的定义如下：