[发明专利]基于公共字段编码的数据融合方法及系统

说明书

本发明涉及基于公共字段编码的数据融合方法及系统；根据不同数据持有者之间实体编码的交集完成实体对齐，进一步进行数据融合；在数据融合的基础上，对同一实体的不同ID编码进行排序；选出一个编码作为同一实体的唯一ID。保障数据融合后的实体ID的唯一性。本发明方法系统，在计算过程中不涉及实体相关隐私和敏感信息。不需要在数据融合前对不同数据持有者之间的实体信息进行额外的对齐操作，数据融合过程中实体自动对齐，计算量小，可操作性强。并且在数据融合后来进行编码排序选出唯一ID，实现更好的容错，选出的唯一ID符合全局数据的规律，更科学。

技术领域

本发明涉及数据处理技术领域，特别涉及基于公共字段编码的数据融合方法及系统。

背景技术

大数据分析中，越来越多的场景是联合分析，即两个以上的数据分析参与者们，各自拥有自己的数据，但是各自的数据并不能建立比较全面的分析；必须将多方数据融合起来，才能建立起准确的分析。

数据的高效融合成了大数据技术中需要解决的难题。给实体赋ID是解决数据融合的技术途径之一。但是由于不同数据持有者之间由于数据格式字段等不同，往往采取了不同的实体ID产生机制，且出于数据的安全性等方面的考虑，ID的产生方法在不断变化中。

自然状态下重名的实体很多，尤其是自然人，在没有身份证信息的情况下，和实体对齐的前置条件下如果ID不同，则不能判断同名实体为同一实体，因此也不能进行数据融合，为数据的融合和联合分析造成重大的障碍。导致不同数据持有者之间的数据融合和联合分析的困难。

目前申请人已有提出解决不同数据持有者之间的数据融方案，比如通过共同字段编码，可以实现不同数据持有者之间的唯一ID一致性(专利：2020103092316)；但是也存在一些问题，比如，不同数据持有者之间的共同拥有同一实体的数据可能不一致；或者在进行数据更新时，实体相关的信息发生变化等，相对固化的编码及融合方式可能带来数据持有者产生出不同实体ID的风险，进而不能很好的进行数据融合。

发明内容

本发明的目的提供基于公共字段编码的数据融合方法及系统，在不同数据持有者之间实现实体ID的唯一性，并且在数据更新，或者有新增数据时，能够及时更新实体的实体ID，实现实体ID的动态构建，并有效保证数据融合和更新。

基于公共字段编码的数据融合方法，所述方法包含以下实现步骤：

获取第一数据和第二数据的公共字段，所述公共字段包含第一字段和第二字段；

对第一数据和第二数据分别进行处理，将第一数据和第二数据中属于同一实体的数据编入一个数据组；

对数据组中的各条数据，使用包含第一字段和第二字段的信息来编码；

对第一数据和第二数据获得的编码求交集，进行第一数据和第二数据的实体对齐；

将具有交集的第一数据和第二数据的数据组合并，得到融合后的数据组；

对数据组内的编码进行排序，选出一个编码作为对应数据组的组编码；

将所述组编码赋予到组内的各条数据中，作为对应实体的ID；完成数据融合并实现了同一实体的唯一ID编码。

作为一种优选，所述步骤将具有交集的第一数据和第二数据的数据组合并，得到融合后的数据组中还包含，将数据组内具有相同编码的数据进行融合的步骤。

所述融合步骤为获取相同编码的实体对应的数据，将具有相同编码的实体数据合并成一条数据记录。

作为一种优选，所述步骤获取第一数据和第二数据的公共字段，所述公共字段包含第一字段和第二字段中，第一字段为实体名。

作为一种优选，所述步骤对数据组中的各条数据，使用包含第一字段和第二字段的信息来编码；编码算法为hash算法。