[发明专利]一种基于海量文本数据的相似度衡量方法

摘要

本发明公开了一种基于海量文本数据的相似度衡量方法，该方法基于语义规则的扩展来衡量文本信息的相似度，具体分为两种扩展方法：全扩展和选择扩展。前者将全部可用语义规则用于扩展字符串，后者结合了全扩展和贪心扩展，给出了一种更加有效的扩展方法。通过实验对比表明，两种扩展方法都取得了非常好的性能，从而验证了本发明的可行性与可靠性。

主权项

1.一种基于海量文本数据的相似度衡量方法，其特征在于，所述方法包括：步骤A：对于给定的字符串s1和s2，利用选择扩展，选择规则集R中规则，分别获得其对应的扩展集合S1′与S2′；所述选择扩展为全扩展和贪心扩展的结合；所述全扩展包括：步骤A1：对于给定的字符串s1和s2，分别获得其对应的集合S1和S2；步骤A2：扫描规则集R，进行全扩展：对于规则集R中任意规则r：lhs(r)→rhs(r)，若lhs(r)是S1的子串，则将rhs(r)中包含的词组添加到S1；若lhs(r)是S2的子串，则将rhs(r)中包含的词组添加到S2；所述贪心扩展包括：步骤A1：分别确定两个字符串的可用规则集R1和R2；步骤A2：分别对集合S1和S2进行贪心扩展：步骤A2‑1：对于S1，执行如下扩展过程：步骤A2‑1‑1：计算R1中各个规则的增益，选出增益最大的规则；给定两个集合S1和S2，以及S1的一条可用规则r：lhs(r)→rhs(r)，规则r的增益定义为：步骤A2‑1‑2：如果步骤A2‑1‑1中所述增益最大的规则扩展S1后，S1′与S2′的相似度增加，则将步骤A2‑1‑1中所述增益最大的规则从R1中删除，并将其添加到R1u中；步骤A2‑1‑3：重复上述步骤，直到相似度不再增加或者R1为空；步骤A2‑2：对于S2，执行贪心扩展，与步骤A2‑1类似，将步骤A2‑1中的S1替换为S2并R1替换为R2后，执行步骤A2‑1；步骤B：衡量扩展集合S1′与S2′的相似度，作为原始字符串s1和s2的相似度；所述选择扩展包括：步骤A1：分别确定两个字符串的可用规则集R1和R2；步骤A2：分别选择扩展两个集合：步骤A2‑1：对于S1，执行全扩展，获得扩展后的集合S1′,此时R1u＝R1；步骤A2‑2：对于S2，执行如下扩展过程：步骤A2‑2‑1：计算规则集R2中各个规则的增益；步骤A2‑2‑2：选择规则R2中增益最大的规则；步骤A2‑2‑3：测试使用步骤A2‑2‑2中所述增益最大的规则扩展S2后，如果S1′与S2′的相似度增加，则将步骤A2‑2‑2所述增益最大的规则从R2中删除，并将其添加到R2u中；步骤A2‑2‑4：重复上述步骤，直到相似度不再增加或者R2为空；步骤A2‑3：删去R1u中的无用规则；步骤A2‑3‑1：计算规则集R1u中各个规则的增益；步骤A2‑3‑2：选择增益最小的规则，如果S1′去掉仅由所述增益最小的规则引入的元素，可以使S1′与S2′的相似度增加，则去掉相应元素，从R1u中删去所述增益最小的规则；步骤A2‑3‑3：重复上述步骤，直到相似度不再增加或者R1u为空；步骤A2‑4：删去R2u中的无用规则，过程类似A2‑3；步骤A2‑5：返回扩展集；步骤A3：分别对集合S1和S2进行扩展，步骤类似A2，在此次扩展中对S2进行全扩展，S1进行贪心扩展，返回扩展后的集合；步骤A4：比较A2与A3返回的扩展集合之间的相似度，将相似度较大的选择为最终扩展集合，较大的相似度为最终相似度。