[发明专利]一种基于改进的Jaccard系数确定文档相似度的方法

摘要

本发明公开一种基于改进的Jaccard系数确定文档相似度的方法，步骤1：分别确定文档X中长度为K的每个元素w_i对应的数量和文档Y中长度为K的每个元素w_j对应的数量，步骤2：计算每个元素w_i在文档X中所占的比重步骤3：计算每个元素w_j在文档Y中所占的比重步骤4：计算文档X和文档Y关于共同元素w_h的Jaccard相似度步骤5：计算元素w_h在文档X和文档Y所有n‑Gram长度为K的元素中的所占的比重ε(w_h)，步骤6：计算元素w_h在文档X和文档Y是否同时出现的参数F(w_h)，步骤7：设定为文档X和文档Y的相似度。本发明通过考虑各元素、样本在文档中的权重及其对多个文档相似度的贡献程度，有效地解决现有技术中存在的文档间相似度计算不精的问题。

主权项

1.一种基于改进的Jaccard系数确定文档相似度的方法，其特征在于：其包括以下步骤：步骤1：给定文档X和文档Y，文档X的文档长度为m，文档Y的文档长度为n；分别确定文档X中长度为K的每个元素w_i对应的数量和文档Y中长度为K的每个元素w_j对应的数量其中i＝1,2,...,m‑K+1，j＝1,2,...,n‑K+1；步骤2：计算文档X中每个元素w_i所占的比重即：步骤3：计算文档Y中每个元素w_j所占的比重即：步骤4：当元素w_h同时存在于文档X和文档Y中，则文档X和文档Y的Jaccard相似度为元素w_h在文档X中的权重与元素w_h在文档Y中的权重的比值采用如下公式计算步骤5：设定ε(w_h)代表元素w_h在文档X和文档Y所有n‑Gram长度为K的元素中的所占的比重ε(w_h)，步骤6：设定F(wh)代表元素wh在文档X和文档Y是否同时出现，则步骤7：设定为文档X和文档Y的相似度，采用如下公式计算其中，K表示元素wh的滑动窗口大小，∑K表示两文档中所有滑动窗口大小为K的元素集合。