[发明专利]一种文本相似度检测方法

权利要求书

1.一种文本相似度检测方法，其特征在于：所述方法的具体步骤如下：

Step1、输入文本A和文本B；

Step2、对文本A和文本B进行预处理，得其实意词；对文本A和文本B的实意词分别求其TF-IDF值作为该实意词的权重；根据权重由Simhash算法分别对文本A和文本B的实意词生成其长度为l₁的Simhash指纹，并计算两者的海明距离h₁；由海明距离h₁及生成指纹的长度l₁，计算出基于Simhash算法的文本A和文本B的相似度I(A,B)；

Step3、对文本A和文本B进行预处理，得其实意词；运用N-Gram语言模型，得出文本A和文本B的2-Gram集合；对2-Gram集合中每个组合词求其TF-IDF值作为该组合词的权重；根据权重由Simhash算法分别对文本A和文本B的2-Gram集合生成其长度为l₂的Simhash指纹，并计算两者的海明距离h₂；由海明距离h₂及生成指纹的长度l₂，计算出基于N-Gram语言模型和Simhash算法的文本A和文本B的相似度J(A,B)；

Step4、求文本A和文本B的最长公共子串；由最长公共子串的长度l₃和文本A的长度l_A，以及文本B的长度l_B，计算出基于最长公共子串的文本A和文本B的相似度Z(A,B)；

Step5、设Step2、Step3、Step4步骤所计算出的相似度对应权值分别为i、j、z，权值i、j、z满足i+j+z＝1的要求，由相似度I(A,B)及权值i、相似度J(A,B)及权值j、相似度Z(A,B)及权值z，计算文本A和文本B的最终相似度R(A,B)＝I(A,B)×i+J(A,B)×j+Z(A,B)×z；

所述步骤Step2中，计算文本A和文本B的相似度I(A,B)的公式为：

所述步骤Step3中所述的计算文本A和文本B的相似度J(A,B)的公式为：

所述步骤Step4中所述的计算文本A和文本B的相似度Z(A,B)的公式为：

2.根据权利要求1所述的文本相似度检测方法，其特征在于：所述步骤Step1中，所述输入文本A和文本B为短文本。

3.根据权利要求1所述的文本相似度检测方法，其特征在于：所述步骤Step2及步骤Step3中对文本A和文本B进行预处理，预处理包括分词、同义词替换、去停用词；分别使用分词包、同义词库和停用词库进行分词、同义词替换、去停用词。