[发明专利]一种脱敏数据集的数据融合方法及装置

说明书

本发明公开了一种脱敏数据集的数据融合方法及装置，涉及数据处理和分析技术领域。所述方法包括：对第一脱敏数据集和第二脱敏数据集分别进行预融合得到对应的第一预融合结果和第二预融合结果；根据第二预融合结果对第一脱敏数据集计算第一联合概率相关值，根据第一预融合结果对第二脱敏数据集计算第二联合概率相关值；对第一联合概率相关值和第二联合概率相关值交叉融合得到第一交叉融合结果和第二交叉融合结果；根据第二预融合结果和第一交叉融合结果进行自融合得到第一脱敏数据集的融合数据记录，根据第一预融合结果和第二交叉融合结果进行自融合得到第二脱敏数据集的融合数据记录。本发明中的技术方案，实现了对不同脱敏数据集的数据融合。

技术领域

本发明涉及数据处理和分析技术领域，尤其涉及一种脱敏数据集的数据融合方法及装置。

背景技术

对于多数商业实体来说，合理的对消费者的个体识别信息(例如身份证号、手机号、真实姓名和住所等)进行分析和融合，能够更有效的预测消费者的偏好，进而为消费者提供增值服务；而出于法律、隐私保护、商业利益等多方面的因素，要求商业实体需要对其收集到的消费者的个体识别信息加密或者脱敏后才能在外部环境中使用，该脱敏后的消费者的个体识别信息我们称之为“脱敏数据集”，即要求商业实体需要对“脱敏数据集”进行分析和融合；然而，现有技术中，对数据集的融合都是基于非脱敏数据集进行的，并且存在较大的泄露个人隐私的风险。

例如，当同一公司内部或者两家公司采用不同加密、匿名或虚拟编码方法对各自消费者个人识别信息进行处理后，公司的消费者个人数据将因为缺少一致的唯一识别信息而无法融合和分析。实际需求场合包括但不限于以下：1.同一家实体消费场所(如大卖场、超市)拥有用户在场所内的匿名消费数据(通常以小票形式保留)，需要准确找出重复消费者，为其提供更好的服务；2.两家互联网公司需要合法地进行网络消费者个体数据交换，从而更好地预测消费者偏好和行为，为消费者提供增值服务；3.城市商圈里两个商场和商铺需要合法地交换顾客的购买信息，从而更好了解顾客需求，提供推荐和增值服务。

如果能解决以上脱敏数据集的融合处理问题，对隐私保护、商业应用创新和数据交易具有非常重大的现实意义。而对于两套脱敏数据集的融合，现有技术中一直没有有效的技术手段。到目前为止，实际操作中的数据融合工作，只能基于非脱敏数据集进行，或配合一定商业途径完成：1.企业通过并购，将另一家企业的数据变为企业内部数据，然后基于用户识别信息的匹配进行融合。这种方式的商业代价很大，可操作性较差。2.两家企业间直接借助各自拥有的消费者个体有效识别信息作为主键，实现非脱敏数据的直接融合。这种方式存在较大的泄露个人隐私的技术风险和法律风险。3.两家企业分别将自己拥有的包含消费者个体有效识别信息的个人数据交由第三方代理商，由第三方代理商完成非脱敏数据的融合，然后将合并后的数据分别返还给各自企业。这种方法使得企业和第三方平台都存在较大的泄漏个人隐私的技术风险和法律风险。

总的来说，已有方法只能基于非脱敏数据集进行融合，现有技术中没有针对脱敏数据集的融合技术，如何有效的对脱敏数据集进行融合，以便于为消费者提供增值服务，对于很多商业实体来说是急需解决的问题。

发明内容

本发明的目的是通过以下技术方案实现的。

一方面，本发明提供了一种脱敏数据集的数据融合方法，包括：

步骤S1：对第一脱敏数据集和第二脱敏数据集分别进行预融合得到对应的第一预融合结果和第二预融合结果；

步骤S2：根据所述第二预融合结果对所述第一脱敏数据集进行融合预测并计算出第一联合概率相关值，根据所述第一预融合结果对所述第二脱敏数据集进行融合预测并计算出第二联合概率相关值；

步骤S3：结合所述第一预融合结果和所述第二预融合结果，对所述第一联合概率相关值和所述第二联合概率相关值进行交叉融合得到第一交叉融合结果和第二交叉融合结果；