[发明专利]一种基于l-diversity规则和MDAV算法的处理大数据的方法

说明书

本发明属于数据库的隐私保护技术领域，公开了一种基于l‑diversity规则和MDAV算法的处理大数据的方法，改进MDAV算法，生成新算法“(l,d,e)‑MDAV算法”算法，使其相较于MDAV在保证算法效率高、信息损失小的同时能抵御同志攻击并有较低的信息泄漏风险。通过实验证明新算法在处理数据表的匿名化有较好的效果。本发明人为给定的与质心的差异值，具有个性化的进一步研究价值。用户可以根据自身保密程度的需求设定e值的大小，能够起到最大化的隐私保护，最小化的泄密风险。

技术领域

本发明属于数据发布中的隐私安全技术领域，基于l-diversity规则和MDAV算法，提出一种基于l-diversity规则和MDAV算法的处理大数据的方法。

背景技术

数据发布中的隐私保护问题最早在统计泄密控制领域被提出，之后才开始逐步渗透到整个信息技术领域。在统计泄密控制领域，主要采用微聚集、随机化、样本化、添加白噪声等方法实现信息的保护，在尽量保证处理后数据的数据统计性和可用性以及隐私信息安全的同时，保留更多的有用信息，平衡兼顾数据保密性和可用性的关系。经过多年来的发展，数据中发布的隐私保护技术主要围绕两方面进行研究，一面是面向用户的隐私保护技术，另一面是针对数据库的隐私保护技术。面向用户的隐私保护技术主要是以用户的权益为核心，保护用户发布的隐私数据安全，这种保护方法是个人用户在发布信息时或对信息进行增改减时，为数据提供的安全保护。面向数据库的隐私保护技术是通过对数据进行一定程度的修饰来隐藏真实的数据，从而保障数据在传输过程中不被黑客攻击或者窃取。

当前，针对数据库的隐私保护技术主要有三类方法。第一类，基于数据失真的隐私保护技术，这类技术主要是对原始数据进行扰动处理从而实现隐私保护，可是扰动后数据的可用性非常低；第二类，基于数据加密的隐私保护技术，这类技术主要应用在分布式环境下，解决不同服务器之间信息传递的安全性，多用基于密码学来保证隐私的安全，这种方法会产生较大的运算量，对数据库的信息处理能力要求比较高；第三类，匿名化保护，用的最多的就是k-匿名技术，该技术是通过对个人姓名、身份证号、学号等个人显示标识符进行加密或隐匿而达到对隐私数据保密的目的，但是常常攻击者也可能通过使用数据链接的方法推测出隐私信息。

数据表的k-匿名是目前数据发布中最主要的隐私保护方法。1998年，L.Sweeneyand P.Samarati提出了k-匿名的概念。2002年，Sweeney发表文章，在文献中对k匿名技术作了更为细致的阐述，k-匿名模型作为一种较为完善的隐私保护算法渐渐引起信息安全领域许多学者的关注，并得到了广泛的研究和应用。至今为止，经过十多年的研究，k-匿名技术有了更多的优化和改进。但是，由于k-匿名算法本身的弊端，不能有效阻止标识符属性泄露，甚至不能阻止同质性攻击和背景知识攻击。文献中提出了优化的k-匿名算法，但是，优化的k-匿名问题是NP难题，也就是说，很难实现泛化和隐匿技术最优组合。所以众多学者各抒己见，如Machanavajjhala等人提出了L-多样性隐私保护方法，要求分组后每个等价类中的敏感属性值至少要有l个；Wong等人提出了(a,k)-anonymity匿名模型，要求每个等价类的敏感值频率不大于a；Li等人提出了t-closeness框架，该方法要求每个等价类中敏感值的分布要接近于其在原始数据表中的分布。在国内，也有不少专家学者在这一领域做出来很多成绩。

以上的这些研究算法主要集中在研究泛化隐匿技术的k-匿名化实现，LuxemburgEurostat等都提出泛化/隐匿技术存在许多不足，主要有泛化取值不合理、计算复杂度高和对数值型数据不适用等问题。在动态数据或者多敏感属性的数据中，目前没有能够避免敏感值的分级泄露的隐私保护模型，也没有能够保护有序分类和无序分类这两种分类方法的隐私模型。在处理数值型数据时，泛化/隐匿技术把数值型数据和分类型数据做相同的处理，这样做对分类型数据没有影响，但是对数值型数据就丢失了数值语义。此外，泛化/隐匿技术需要定义数据的泛化抽象层次和区间，对于数值型数据来说定义泛化层次和进行层次泛化的效率很低。