[发明专利]一种相似字符串检索方法

权利要求书

1.一种相似字符串检索方法，其特征在于，包括以下步骤：

步骤一：利用倒排索引中倒排链表之间的重合信息，获取gram辨识度指标；

步骤二：将所述gram辨识度指标与倒排链表长度比例进行整合，形成综合指标；

步骤三：根据所述综合指标通过泛化前缀过滤器获取候选集，通过计算所述候选集中的字符串真实的编辑距离获取检索结果。

2.根据权利要求1所述的相似字符串检索方法，其特征在于，在步骤一之前，先对需要被检索的字符串集合建立倒排索引，以及生成倒排索引对应的MinHash签名。

3.根据权利要求2所述的相似字符串检索方法，其特征在于，通过对字符串进行编号与q-gram拆分，以拆分后的gram为入口映射至包含所述gram的字符串的关系建立倒排索引。

4.根据权利要求2所述的相似字符串检索方法，其特征在于，根据所述字符串的长度选取哈希函数，结合所述倒排索引生成MinHash签名。

5.根据权利要求1所述的相似字符串检索方法，其特征在于，步骤一中gram辨识度指标由待查询字符串的gram集合中，与目标gram具有相同MinHash签名的gram个数的总和表示，所述总和不包含所述目标gram。

6.根据权利要求1所述的相似字符串检索方法，其特征在于，步骤二中以实际使用的倒排链表元素的个数计算倒排链表长度，并通过基于链表长度的比例按权重加和来整合所述gram辨识度指标与倒排链表长度指标，形成综合指标。

7.根据权利要求1所述的相似字符串检索方法，其特征在于，所述步骤三通过所述泛化前缀过滤器获取检索结果包括下述步骤：

步骤A1：对查询字符串按gram进行拆分后，按所述综合指标将拆分后的查询字符串进行升序排序；

步骤A2：选取字符串无重叠部分的前τ+1个gram作为基gram查询集，其中τ为距离阀值；

步骤A3：循环添加新的gram并计算增加后的增益，直到新增的gram没有增益或者没有新的gram为止；

步骤A4：把所有gram进行合并，并取出出现次数至少为LB次的字符串加入候选集，对所述候选集中的字符串进行真实的编辑距离计算，从而获得检索结果；其中，LB是指所述泛化前缀过滤器使用的相同gram个数的下限值。

8.根据权利要求7所述的相似字符串检索方法，其特征在于，所述步骤A3中的增益以下述公式表示：

G=(|Ci||I(gn)|+1Js(Ci,I(gn))+1-1)*cost(Q);]]>

式中，G表示增益，C_i表示当前的候选集的大小，|I(g_n)|表示g_n的倒排链表长度，J_s表示Jaccard相似度，cost(Q)表示对查询进行一次真实编辑距离计算的平均时间耗时。