[发明专利]使用字段级删除邻域的改进的模糊搜索

权利要求书

1.一种在包含多个实体表示记录的数据库中标识记录并对记录进行去重的方法，每个实体表示记录包括唯一的记录标识符和多个字段，每个字段能够包含字段值，所述方法包括：

对于所述多个实体表示记录中的每个记录，确定所述记录的两个或更多个字段组合的字段级删除邻域，包括：

确定字段哈希值；

创建字段排列；

确定每个排列的组合记录哈希值；

将每个记录哈希值与所述唯一的实体标识符相关联；

对于每个实体表示记录：

搜索其他实体表示记录以查找匹配组合记录哈希值；以及

将唯一的实体标识符和重复实体标识符中的一个或多个分配给具有所述匹配组合记录哈希值的其他实体表示记录。

2.根据权利要求1所述的方法，其进一步包括，从所述数据库中移除具有所述重复实体标识符的其他实体表示记录中的至少一个。

3.根据权利要求2所述的方法，其进一步包括，将所移除的实体表示记录的至少一个唯一字段值保存在至少由所述唯一的实体标识符标识的数据保留字段中。

4.根据权利要求1所述的方法，其进一步包括，移除所述数据库中具有相同指定的唯一的实体标识符的记录中除一个代表性实体表示记录外的所有记录。

5.根据权利要求4所述的方法，其中，所述代表性实体表示记录包括具有最高准确性置信度的记录。

6.根据权利要求1所述的方法，其中，所述记录的两个或更多个字段组合包括以下项中的一个或多个：预定字段、必填字段、组合字段和有序字段。

7.根据权利要求1所述的方法，其中，创建所述字段排列包括省略每个排列的至少一个字段。

8.根据权利要求1所述的方法，其进一步包括，对于每个字段值确定字段字符串级删除邻域。

9.根据权利要求8所述的方法，其中，确定所述字段字符串级删除邻域包括确定一个或多个字段字符串片段。

10.一种去重系统，包括：

包含多个实体表示记录的数据库，每个实体表示记录包括唯一的实体标识符和多个字段，每个字段能够包含字段值；

一个或多个处理器；以及

与所述一个或多个处理器通信的存储器，所述存储器存储指令，当所述指令由所述一个或多个处理器执行时，导致所述系统执行以下操作：

对于所述多个实体表示记录中的每个记录，确定所述记录的两个或更多个字段组合的字段级删除邻域，所述字段级删除邻域通过以下方式确定：

计算字段哈希值；

创建字段排列；

计算每个排列的组合记录哈希值；

将每个记录哈希值与所述唯一的实体标识符相关联；

对于每个实体表示记录：

搜索其他实体表示记录以查找匹配组合记录哈希值；以及

将重复实体标识符分配给具有所述匹配组合记录哈希值的其他实体表示记录。

11.根据权利要求10所述的去重系统，其中，所述指令进一步导致所述系统从所述数据库中移除具有重复实体标识符的其他实体表示记录中的至少一个。

12.根据权利要求11所述的去重系统，其中，所述指令进一步导致所述系统将所移除的实体表示记录的至少一个唯一字段值保存在至少由所述唯一的实体标识符标识的数据保留字段中。

13.根据权利要求10所述的去重系统，其中，所述指令进一步导致所述系统将所述唯一的实体标识符分配给具有所述匹配组合记录哈希值的其他实体表示记录。

14.根据权利要求10所述的去重系统，其中，所述记录的两个或更多个字段组合包括以下项中的一个或多个：预定字段、必填字段、组合字段和有序字段。

15.一种用于使用不完全搜索条件从数据库中查找记录的方法，所述数据库包含多个实体表示记录，每个实体表示记录包括唯一的实体标识符和多个字段，每个字段能够包含字段值，所述方法包括：

对于所述多个实体表示记录中的每个记录，确定所述记录的两个或更多个字段组合的字段级删除邻域，所述确定所述字段级删除邻域包括：

确定字段哈希值；

创建字段排列；

确定每个排列的组合记录哈希值；

将每个记录哈希值与所述唯一的实体标识符相关联；

对于每个实体表示记录：

搜索其他实体表示记录以查找匹配组合记录哈希值；以及

将所述唯一的实体标识符分配给具有所述匹配组合记录哈希值的其他实体表示记录。