[发明专利]一种相互隔离的多来源大数据融合分析方法及系统

说明书

本发明提供一种相互隔离的多来源大数据融合分析方法及系统，方法包括：每个数据提供客户端在本地自定义数据变换规则，并私密保存自定义的数据变换规则；每个所述数据提供客户端自定义的数据变换规则对其他数据提供客户端和所述数据挖掘平台均保密；每个数据提供客户端对原始数据采用数据变换规则进行处理，再将所述变换后的数据上传给所述数据挖掘平台，由此实现数据挖掘平台获取相互隔离的多来源大数据。优点为：有效保护了数据隐私，防止用户隐私泄漏，具有用户隐私保护安全级别高的优点；方便数据挖掘平台对不同数据来源的同一个ID对应的数据进行融合计算；彻底消除可阅读的信息量，消灭交叉验证的可能性，保证隐私的绝对安全。

技术领域

本发明属于大数据融合分析技术领域，具体涉及一种相互隔离的多来源大数据融合分析方法及系统。

背景技术

随着智慧城市、智慧交通、智能家居、智能电网、智慧医疗、在线社交网络等数字化技术的发展，促成了大数据时代的到来。大数据蕴含着巨大的商业价值，目前，各行各业都在进行大数据分析和挖掘。然而，在享受大数据挖掘得到的各种各样有价值信息的同时，也不可避免地泄露了人们的隐私。如何在不泄露用户隐私的前提下，提高大数据的利用率，挖掘大数据的价值，是目前大数据研究领域的关键问题。

目前，在大数据分析和挖掘领域，主要采取的方案为：数据挖掘平台和多个数据提供客户端连接，数据提供客户端向数据挖掘平台上传原始数据之前，对原始数据进行隐私保护处理，再将处理后的数据上传给数据挖掘平台。具体的，原始数据格式为：{ID₁，A₁:V₁，A₂:V₂，A₃:V₃，...)，其中，ID为对应现实实体的键值，如身份证号，手机号等；A:V表示属性:值，A为所有属性的集合，如“性别”“年龄”“学历”“收入”等。每个属性的所有可能取值构成该属性的值域集合。当一条数据中的ID、A、V皆以明文显示时，该客体的隐私就暴露了。如：{13601193825，sex:M，age:44，education:phd，salary:10000...}。因此，为保护用户隐私，目前，数据提供客户端采用的隐私保护方法为：数据提供客户端通过某种变换算法将ID变换为不可阅读的ID’，即：

{ID₁，A₁:V₁，A₂:V₂，A₃:V₃，...}→{ID′₁，A₁:V₁，A₂:V₂，A₃:V₃，...}

，从而使该数据中的属性:值A:V无法对应到现实客体。如：将{13601193825，sex:M，age:44，education:phd，salary:10000...}变换为：{61df800c717206c4bdda8e1f966e1fa2，sex:M，age:44，education:phd，salary:10000...}，然后再开放该数据，将其上传给数据挖掘平台进行分析。

上述隐私保护方法主要存在以下不足：

(1)由于不同数据提供客户端采用的对ID进行变换的方法不同，例如，对于同一个ID号，数据提供客户端1将其变换为ID’，而数据提供客户端2将其变换为ID”，ID’和ID”不相同，因此，数据挖掘平台无法对不同数据来源的同一个ID对应的数据进行融合计算，不利于全方面进行数据挖掘分析。

(2)因为ID的变换是在有限空间内进行，通过枚举、撞库等方法也可以被解密，从而仍然会导致用户隐私泄漏，具有用户隐私保护安全级别低的问题。