[发明专利]一种基于海量文本数据的相似度衡量方法

权利要求书

1.一种基于海量文本数据的相似度衡量方法，其特征在于，所述方法包括：

步骤A：对于给定的字符串s₁和s₂，利用选择扩展，选择规则集R中规则，分别获得其对应的扩展集合S₁′与S₂′；所述选择扩展为全扩展和贪心扩展的结合；

所述全扩展包括：

步骤A1：对于给定的字符串s₁和s₂，分别获得其对应的集合S₁和S₂；

步骤A2：扫描规则集R，进行全扩展：对于规则集R中任意规则r：lhs(r)→rhs(r)，若lhs(r)是S₁的子串，则将rhs(r)中包含的词组添加到S₁；若lhs(r)是S₂的子串，则将rhs(r)中包含的词组添加到S₂；

所述贪心扩展包括：

步骤A1：分别确定两个字符串的可用规则集R₁和R₂；

步骤A2：分别对集合S₁和S₂进行贪心扩展：

步骤A2-1：对于S₁，执行如下扩展过程：

步骤A2-1-1：计算R₁中各个规则的增益，选出增益最大的规则；

给定两个集合S₁和S₂，以及S₁的一条可用规则r：lhs(r)→rhs(r)，规则r的增益定义为：

步骤A2-1-2：如果步骤A2-1-1中所述增益最大的规则扩展S₁后，S₁′与S₂′的相似度增加，则将步骤A2-1-1中所述增益最大的规则从R₁中删除，并将其添加到R₁^u中；

步骤A2-1-3：重复上述步骤，直到相似度不再增加或者R₁为空；

步骤A2-2：对于S₂，执行贪心扩展，与步骤A2-1类似，将步骤A2-1中的S₁替换为S₂并R₁替换为R₂后，执行步骤A2-1；

步骤B：衡量扩展集合S₁′与S₂′的相似度，作为原始字符串s₁和s₂的相似度；

所述选择扩展包括：

步骤A1：分别确定两个字符串的可用规则集R₁和R2；

步骤A2：分别选择扩展两个集合：

步骤A2-1：对于S₁，执行全扩展，获得扩展后的集合S₁′,此时R₁^u＝R₁；

步骤A2-2：对于S₂，执行如下扩展过程：

步骤A2-2-1：计算规则集R₂中各个规则的增益；

步骤A2-2-2：选择规则R₂中增益最大的规则；

步骤A2-2-3：测试使用步骤A2-2-2中所述增益最大的规则扩展S₂后，如果S₁′与S₂′的相似度增加，则将步骤A2-2-2所述增益最大的规则从R₂中删除，并将其添加到R₂^u中；

步骤A2-2-4：重复上述步骤，直到相似度不再增加或者R₂为空；

步骤A2-3：删去R₁^u中的无用规则；

步骤A2-3-1：计算规则集R₁^u中各个规则的增益；

步骤A2-3-2：选择增益最小的规则，如果S₁′去掉仅由所述增益最小的规则引入的元素，可以使S₁′与S₂′的相似度增加，则去掉相应元素，从R₁^u中删去所述增益最小的规则；

步骤A2-3-3：重复上述步骤，直到相似度不再增加或者R₁^u为空；

步骤A2-4：删去R₂^u中的无用规则，过程类似A2-3；

步骤A2-5：返回扩展集；

步骤A3：分别对集合S₁和S₂进行扩展，步骤类似A2，在此次扩展中对S₂进行全扩展，S₁进行贪心扩展，返回扩展后的集合；

步骤A4：比较A2与A3返回的扩展集合之间的相似度，将相似度较大的选择为最终扩展集合，较大的相似度为最终相似度。