[发明专利]一种文本相似度检测方法

摘要

本发明涉及一种文本相似度检测方法，属于自然语言处理技术领域。本发明先用常规的Simhash算法对文本进行相似度计算；然后引入N‑Gram语言模型对文本关键词进行组合，使关键词具有上下文衔接关系，再次用Simhash算法对文本进行相似度计算；其次，又引入最长公共子串作为评判相似的标准之一，对文本进行相似度计算；最后，给予以上计算所得的相似度相应的权重，进行最终相似度的叠加计算。本发明与现有技术相比，主要解决了Simhash算法对短文本的支持性差、生成指纹过程中有效信息丢失等现象，增加文本相似度检测的准确性与可靠性。

主权项

一种文本相似度检测方法，其特征在于：所述方法的具体步骤如下：Step1、输入文本A和文本B；Step2、对文本A和文本B进行预处理，得其实意词；对文本A和文本B的实意词分别求其TF‑IDF值作为该实意词的权重；根据权重由Simhash算法分别对文本A和文本B的实意词生成其长度为l1的Simhash指纹，并计算两者的海明距离h1；由海明距离h1及生成指纹的长度l1，计算出基于Simhash算法的文本A和文本B的相似度I(A,B)；Step3、对文本A和文本B进行预处理，得其实意词；运用N‑Gram语言模型，得出文本A和文本B的2‑Gram集合；对2‑Gram集合中每个组合词求其TF‑IDF值作为该组合词的权重；根据权重由Simhash算法分别对文本A和文本B的2‑Gram集合生成其长度为l2的Simhash指纹，并计算两者的海明距离h2；由海明距离h2及生成指纹的长度l2，计算出基于N‑Gram语言模型和Simhash算法的文本A和文本B的相似度J(A,B)；Step4、求文本A和文本B的最长公共子串；由最长公共子串的长度l3和文本A的长度lA，以及文本B的长度lB，计算出基于最长公共子串的文本A和文本B的相似度Z(A,B)；Step5、设Step2、Step3、Step4步骤所计算出的相似度对应权值分别为i、j、z，权值i、j、z满足i+j+z＝1的要求，由相似度I(A,B)及权值i、相似度J(A,B)及权值j、相似度Z(A,B)及权值z，计算文本A和文本B的最终相似度R(A,B)＝I(A,B)×i+J(A,B)×j+Z(A,B)×z。