[发明专利]一种基于汉语复句的语义相关度计算方法

权利要求书

1.一种基于汉语复句的语义相关度计算方法，其特征在于给定两个特定的词语c1、c2，计算c1、c2之间的语义相关度，该方法包括以下步骤：

（1）在汉语复句语料库中，假设汉语复句语料库的总词量为W1，给定词c1在汉语复句语料库中出现的频数记为f(c1)，给定词c2在汉语复句语料库中出现的频数记为f(c2)，给定词c1与c2同时在一条复句中出现的频数记为f(c1，c2)；

（2）对汉语复句语料库中抽取的复句进行依存句法分析，计算给定词c1和c2之间间隔的单词数，该单词数为c1和c2之间的跨度d；同时提取该复句不同分句中的关系标记以及关系标记间的搭配距离m，利用匹配算法，将复句中的词与汉语复句关系词搭配库中的词进行匹配，提取关系标记，进而提取关系标记搭配距离m；

（3）假设搜索引擎的总索引量为W2，利用搜索引擎搜索给定词c1 ，其在网页中出现的频数记为f(c1’) ，利用搜索引擎搜索给定词c2，其在网页中出现的频数记为f(c2’)，给定词c1、c2在网页中同时出现的频数记为f(c1’，c2’)；

（4）令W=W1+W2，F(c1)=f(c1)+f(c1’)，F(c2)=f(c2)+f(c2’)，F(c1，c2)=f(c1，c2)+f(c1’，c2’)，其中，F(c1)、F(c2)为c1、c2在汉语复句语料库和搜索引擎中共出现的频数，F(c1，c2)为c1、c2在汉语复句语料库和搜索引擎中共现的频数，为了尽可能将计算结果压缩在[0，1]区间内，对词语出现的频数取对数再进行概率计算，c1的概率计算公式为：；

（5）给定词c1与c2共现的概率为： ；

（6）根据关系标记搭配理论，将词语共现作为语义相关度计算的考虑因素之一，提出如下语义相关度计算公式：

；其中λ是一个可调节参数， 其取值范围是0~1；

（7）相关度结果以向量V(v1，v2，…v13)的形式表示，其中，v1~v12分别表示12种关系类别：因果、推断、假设、条件、目的、并列、连贯、递进、选择、转折、让步、假转的值，v13为其它不明确类型的相关度。

2.根据权利要求1所述的基于汉语复句的语义相关度计算方法，其特征在于：步骤（2）中所述的依存句法分析的具体方式为使用哈尔滨工业大学开发的语言云平台LTP-Cloud，调用相应的API接口对语句进行依存句法分析。

3.根据权利要求1所述的基于汉语复句的语义相关度计算方法，其特征在于：步骤（2）中计算给定词之间的跨度d的具体方式为使用依存句法分析后的语句，分词后的语句都有位置标志，该标志记录词语在复句中所处的位置，提取给定词的位置标志，进行相减得到给定词之间的词间距，即跨度d。

4.根据权利要求1所述的基于汉语复句的语义相关度计算方法，其特征在于：统计给定词出现的频数和共现频数的具体方式为利用查找的方式统计给定词在汉语复句语料库中出现的频数，或将给定词放在搜索引擎上进行搜索，获取网页中返回的结果总数，将在汉语复句语料库中出现的频数和搜索引擎返回的结果数相累加则为给定词出现的频数。