[发明专利]一种Spark框架下的基于差分隐私保护的数据发布方法

权利要求书

1.一种Spark框架下的基于差分隐私保护的数据发布方法，其特征在于，包括如下步骤：

步骤1：将原始数据集导入Hadoop分布式文件系统，从Hadoop分布式文件系统读取数据到Spark框架形成弹性分布式数据集并分类统计；

步骤2：对k-means聚类算法进行二范数关联优化，然后利用优化后的k-means聚类算法对分类统计形成的发布数据集进行聚类分组C＝{C₁,C₂,…,C_k}；

步骤3：对每个分组求均值：

Ck_avg=Σi=1nxi/n]]>

其中，C_k_avg为每个分组均值，x_i为每个分组中的样本，n为每个分组的样本量；

步骤4：在各分组的均值C_k_avg上添加Laplace噪声得到数据集D_s＝{C₁',C₂',…,C_k'}，所述各组分均值添加Laplace噪声为C_k'_avg：

Ck′_avg=Ck_avg+Lapdk(1/ϵ)]]>

其中，ε为隐私预算，d为查询维数；

步骤5：对差分隐私保护后的发布数据D_s进行直方图发布。

2.如权利要求1所述的Spark框架下的基于差分隐私保护的数据发布方法，其特征在于，所述步骤1中数据集分类采用Hash_map按照数据属性进行分类统计，形成中间数据集D'。

3.如权利要求1所述的Spark框架下的基于差分隐私保护的数据发布方法，其特征在于，所述步骤2中，k-means聚类算法采用距离优化方法，将样本数据与其二范数进行关联优化。

4.如权利要求3所述的Spark框架下的基于差分隐私保护的数据发布方法，其特征在于，所述k-means聚类算法包括如下步骤：

步骤2.1：初始化k个数据作为初始聚类中心，形成聚类样本；

步骤2.2：遍历数据样本，将数据点的坐标(x,y)与其二范数进行关联，构成＜(x,y),||(x,y)||²＞的键值对形式，将二范数之差的平方值与最近的中心点的距离进行比较，若二范数之差的平方值小于最近的中心点的距离，则进行真正的欧氏距离计算，若真正的欧氏距离小于最近的中心点的距离，将距离最小的归类到聚类中心，形成k个聚类；

步骤2.3：计算各聚类内数据均值，更新聚类中心；

步骤2.4：循环步骤2.1-2.3，直到达到指定迭代次数或者聚类收敛，输出聚类分组C＝{C₁,C₂,…,C_k}。

5.如权利要求4所述的Spark框架下的基于差分隐私保护的数据发布方法，其特征在于，所述步骤2中利用k-means聚类算法形成分组最优划分与合并。

6.如权利要求1所述的Spark框架下的基于差分隐私保护的数据发布方法，其特征在于，所述步骤4中，查询维数d为一维。

7.如权利要求1所述的Spark框架下的基于差分隐私保护的数据发布方法，其特征在于，所述步骤4中，隐私预算ε为0.01。