[发明专利]一种基于维基百科度量概念之间语义相关度的方法

权利要求书

1.一种基于维基百科度量概念之间语义相关度的方法，其特征在于：包括离线步骤和在线步骤：

在离线步骤中，从维基百科的原始数据中生成概念之间的初始关系和概念与类别之间的初始关系；用一个迭代算法来将两种关系相互平滑，最后存储到索引中；

在在线步骤中，给定一个概念，推荐和这个概念语义上最相关的概念，并用维基分类来表示每个推荐出来的概念和原概念之间的关系。

2.根据权利要求1所述的基于维基百科度量概念之间语义相关度的方法，其特征在于：离线步骤包括以下分步骤：

(1.1)从维基百科数据中提取概念和概念之间通过锚文本链接得到的链接关系，并初始化得到概念-概念关系矩阵R，其中R_ij为概念i和概念j之间的语义关连强度，初始化如下：

R(0)ij=max(Iij,μG((MR)ij+(MR)ji2))]]>

其中I是单位矩阵，M_R为概念-概念之间的链接矩阵，即如果概念i和概念j通过锚文本直接相连(M_R)_ij＝1，否则(M_R)_ij＝0，μ_G用来调节I和M_R对初始化所起的作用；

(1.2)从维基百科数据中提取概念和分类之间通过类别链接得到的链接关系，并初始化得到概念-分类关系矩阵C，其中C_ij为概念i和分类j之间的语义关连强度，初始化如下：

C(0)=[MC,MCd]]]>

其中M_C为概念-分类之间的链接矩阵，即(M_C)_ij＝1则概念i和分类j通过分类链接直接相连，否则(M_C)_ij＝0；用来补充使得C(0)的行和大于零，定义为：如果概念i是第j个没有任何分类链接的概念，(MCd)ij=1,]]>否则(MCd)ij=0;]]>

(1.3)进行迭代算法：

对于每次时间t，迭代计算矩阵C和矩阵R如下：

a.C(t)＝R(t-1)C(t-1)

b.D(t)=diag(C(t)C(t)T)-12]]>

c.R(t)＝D(t)C(t)C(t)^TD(t)^T

在计算中，考虑到内存和计算时间因素，只计算C(1)和R(1)，并只保留R(1)每一行的前若干个最大的值；

(1.4)为矩阵C(1)和矩阵R(1)建立索引：在为C(1)建索引时，索引的键值为概念的名称，内容值为和该概念最相关的前P个分类的id、名称以及相关度，P为正整数；在为R(1)建索引时，索引的key为概念的名称，value为和该概念最相关的前Q个概念的id、名称以及相关度，Q为正整数。

3.根据权利要求2所述的基于维基百科度量概念之间语义相关度的方法，其特征在于：在线步骤包括以下分步骤：

(2.1)给定一个概念p，把其放到概念-概念索引中得到返回的最相似的一个概念p’，如果p’和p的编辑距离小于指定阈值，则认为检索成功，否则检索失败；如果检索成功，把p’的相关概念p’₁，p’₂...，p’_k作为p的相关概念，其中k是检索来的p’的相关概念个数，为正整数；

(2.2)把p’以及p’₁，p’₂...，p’_k放到概念-分类索引中得到和每个概念相关连的分类以及其关联强度，这样把每个概念都映射到了分类空间；

(2.3)对于p’和每个相关概念p’_i，1≤i≤k，i是正整数，对其映射到分类空间的向量计算余弦距离，并将对余弦距离贡献最大的那一维所对应的分类当做p和p’之间的关系。