[发明专利]基于公共字段编码的数据融合方法及系统

权利要求书

1.基于公共字段编码的数据融合方法，其特征在于，包含以下实现步骤：

获取第一数据和第二数据的公共字段，所述公共字段包含第一字段和第二字段；

对第一数据和第二数据分别进行处理，将第一数据和第二数据中属于同一实体的数据编入一个数据组；

对数据组中的各条数据，使用包含第一字段和第二字段的信息来编码；

对第一数据和第二数据获得的编码求交集，进行第一数据和第二数据的实体对齐；

将具有交集的第一数据和第二数据的数据组合并，得到融合后的数据组；

对数据组内的编码进行排序，选出一个编码作为对应数据组的组编码；

将所述组编码赋予到组内的各条数据中，作为对应实体的ID；完成数据融合并实现了同一实体的唯一ID编码。

2.如权利要求1所述的方法，其特征在于，所述步骤将具有交集的第一数据和第二数据的数据组合并，得到融合后的数据组中还包含，将数据组内具有相同编码的数据进行融合的步骤。

3.如权利要求2所述的方法，其特征在于，所述融合步骤为获取相同编码的实体对应的数据，将具有相同编码的实体数据合并成一条数据记录。

4.如权利要求3所述的方法，其特征在于，所述步骤获取第一数据和第二数据的公共字段，所述公共字段包含第一字段和第二字段中，第一字段为实体名。

5.如权利要求4所述的方法，其特征在于，所述步骤对数据组中的各条数据，使用包含第一字段和第二字段的信息来编码；编码算法为hash算法。

6.如权利要求5所述的方法，其特征在于，所述步骤对数据组中的各条数据，使用包含第一字段和第二字段的信息来编码；编码算法为md5。

7.如权利要求6所述的方法，其特征在于，所述步骤对数据组中的各条数据，使用包含第一字段和第二字段的信息来重新编码中，使用包含第一标识、第一字段、第二标识和第二字段的信息来进行编码。

8.如权利要求7所述的方法，其特征在于，所述第一标识符和或第二标识符是文字，数据和或符号。

9.如权利要求8所述的方法，其特征在于，所述公共字段包含第一字段和第二字段中，所述公共字段还包含第三字段。

10.如权利要求9所述的方法，其特征在于，所述步骤对获得的编码进行排序，选出一个编码作为对应数据组的组编码中，以第三字段包含的信息为依据来进行排序。

11.一种基于公共字段编码的数据融合系统，其特征在于，所述系统包含数据获取模块、存储模块和处理模块，所述数据获取模块、存储模块和处理模块依次相连，所述数据获取模块用于获取待处理数据，所述数据获取模块将获取到的数据输入到存储模块中进行存储；所述存储模块还用于存储所述处理模块的输入输出数据，所述处理模块通过如权利要求1-10之一所述基于公共字段编码的数据融合方法来实现数据的融合。