[发明专利]一种基于信息量的句子相似度计算方法

权利要求书

1.一种基于信息量的句子相似度计算方法，其特征在于，包括以下步骤：

步骤1：输入待计算的两个句子s_a和s_b，记句子s_a和s_b分别为：

sa={wia|i=1,2,...,n}]]>

sb={wib|i=1,2,...,m}]]>

其中，和分别表示句子s_a和s_b的第i个词语，n和m分别表示句子s_a和s_b的词语数；

步骤2：对输入句子中的词语进行词义选择，过程如下：

词语的词义按照式1确定：

[式1]

cia=arg maxc∈subsum(c1,c2)c1∈consept(wia)c2∈consepts(sb){-logP(c)}]]>

其中，subsum(c₁,c₂)为在语义网中包含概念c₁和c₂的所有概念集合，表示在语义网中所有包含词语的概念的集合，consepts(s_b)表示语义网中包含句子s_b中的所有词语的概念的集合，P(c)为概念c在语料库中的频率，特殊的，如果P(c)为0，则logP(c)为0，P(c)的值按照式2确定：

[式2]

P(c)＝Σ_w∈words(c)count(w)/N

其中words(c)表示语义网中概念c以及概念c的所有子概念中的所有词语的集合，count(w)为词语w在语料库中的频数，N表示语义网中全部概念的频数之和，而每个概念的频数为该概念中全部词语在语料库中的总频数之和；

同理，将式1中替换成consepts(s_b)替换成consepts(s_a)，可得句子s_b中第i个词语的词义

词义确定后句子s_a和s_b可以记为：

sa={cia|i=1,2,...,n}]]>

sb={cib|i=1,2,...,m}]]>

步骤3：根据步骤2所得确定词义的句子，应用组合数学中的容斥原理计算句子s_a和s_b各自的信息量以及二者的总信息量，计算过程如下：

句子s_a的信息量IC(s_a)的计算公式如式3所示：

[式3]

IC(sa)=Σk=1n(-1)k-1Σ1≤i1<i2<···<ik≤ncommonIC(ci1a,ci2a,···,cika)]]>

其中，表示通过语义网的层次结构和语料库统计共同构建的语义信息空间，根据式4计算：

[式4]

commonIC(ci1a,ci2a,···,cika)=maxc∈subsum(ci1a,ci2a,···,cika)[-logP(c)]]]>

其中，为在语义网中包含概念的所有概念的集合；

同理，把式3和式4中所有字母a替换成b，n替换成m，可得句子s_b的信息量；

把句子s_a和s_b中所有不重复词语的集合看成一个新的句子，则通过式5得到句子s_a和s_b的总信息量IC(s_a∪s_b)：

[式5]

IC(sa∪sb)=Σk=1p(-1)k-1Σ1≤i1<···<ik≤pcommonIC(ci1a,···,cikb)]]>

其中，p为句子s_a和s_b不重复的词语的总数；

步骤4：由并集和交集之间的关系定义两个句子s_a和s_b的公共信息量COMMONIC(s_a,s_b)，计算公式如式6所示：

[式6]

COMMONIC(s_a,s_b)＝IC(s_a)+IC(s_b)-IC(s_a∪s_b)

步骤5：根据Jaccard相关性原理，定义句子s_a和s_b的相似度sim(s_a,s_b)，计算公式如式7所示：

[式7]

sim(sa,sb)=COMMONIC(sa,sb)IC(sa∪sb)]]>

步骤6：输出两个句子的相似度sim(s_a,s_b)。