[发明专利]一种快速检索相似字符串的方法及系统

权利要求书

1.一种快速检索相似字符串的方法，其特征在于，所述方法包括：

读取已有的预设数量的文本条目，并针对每条文本条目，将所述文本条目拆分为若干词组，并为每个词组分配对应的权重值；

基于分配的权重值，对拆分后的词组进行哈希运算，以得到所述文本条目对应的第一哈希字符串；

对所述第一哈希字符串进行塌缩处理，以得到长度符合指定条件的第二哈希字符串；

对所述第二哈希字符串建立前缀树，并基于所述前缀树从所述已有的预设数量的文本条目中检索出与目标字符串相似的字符串。

2.根据权利要求1所述的方法，其特征在于，为每个词组分配对应的权重值包括：

根据当前词组与所述文本条目的关联性，为所述当前词组分配对应的权重值；其中，所述关联性越高，对应的权重值则越大。

3.根据权利要求1所述的方法，其特征在于，对拆分后的词组进行哈希运算包括：

利用SimHash算法，对拆分后的词组及其对应的权重值进行处理，以得到所述文本条目对应的第一哈希字符串。

4.根据权利要求1所述的方法，其特征在于，对所述第一哈希字符串进行塌缩处理包括：

按照固定间隔将所述第一哈希字符串拆分为多个子字符串，并为拆分得到的各个子字符串分配同样的权重值；

利用SimHash算法，对拆分后的子字符串及其对应的权重值进行处理，以得到所述第一哈希字符串对应的第三哈希字符串；

如果需要，则对所述第三哈希字符串进行裁剪，以使得裁剪后的第二哈希字符串的长度小于所述第一哈希字符串的长度，并且所述第二哈希字符串与所述第一哈希字符串之间的对应关系不被割裂。

5.根据权利要求4所述的方法，其特征在于，检索出与目标字符串相似的字符串包括：

将所述目标字符串拆分为若干词组，并为每个词组分配对应的权重值；

利用SimHash算法，对拆分后的词组及其对应的权重值进行处理，以得到所述目标字符串对应的第四哈希字符串；

对所述第四哈希字符串进行塌缩处理，以得到长度小于所述第四哈希字符串的第五哈希字符串；

在所述前缀树中对所述第五哈希字符串进行检索，以得到第一结果集合；

对所述第一结果集合建立新的前缀树，并在所述新的前缀树中对所述第四哈希字符串进行检索，以得到第二结果集合；

将所述第二结果集合作为与所述第四哈希字符串相似的字符串的集合。

6.根据权利要求1所述的方法，其特征在于，基于所述前缀树从所述已有的预设数量的文本条目中检索出与目标字符串相似的字符串包括：

S51：从所述前缀树的顶层节点开始逐层向下搜索，并计算当前节点与所述目标字符串之间的编辑距离；

S52：当所述编辑距离小于指定阈值时，重复步骤S51，以完成对子节点的搜索；

S53：当所述编辑距离达到所述指定阈值时，中止当前节点以及所述当前节点的子节点的搜索过程，并从与所述当前节点处于同级的兄弟节点的下一节点开始逐层进行搜索；

S54：如果当前节点内已无子节点，则认为该节点对应的哈希字符串与目标字符串的哈希字符串是相似的，并中止当前节点的检索过程，然后从与所述当前节点处于同级的兄弟节点的下一节点开始逐层进行搜索；

S55：当所述前缀树中所有的节点均已遍历完毕或者搜索过程中止时，结束相似字符串的检索过程。

7.一种快速检索相似字符串的系统，其特征在于，所述系统包括：

文本条目处理单元，用于读取已有的预设数量的文本条目，并针对每条文本条目，将所述文本条目拆分为若干词组，并为每个词组分配对应的权重值；

第一哈希字符串确定单元，用于基于分配的权重值，对拆分后的词组进行哈希运算，以得到所述文本条目对应的第一哈希字符串；

塌缩处理单元，用于对所述第一哈希字符串进行塌缩处理，以得到长度符合指定条件的第二哈希字符串；

检索单元，用于对所述第二哈希字符串建立前缀树，并基于所述前缀树从所述已有的预设数量的文本条目中检索出与目标字符串相似的字符串。