[发明专利]一种针对大数据的分解组合聚类方法

权利要求书

1.一种针对大数据的分解组合聚类方法，其特征在于：该方法首先将大数据分解，针对每个数据子集聚类，再使用组合聚类的方法求得最后的完整类别标签，具体步骤如下：

1)对大数据的样本点进行随机抽样,得到若干横向数据子集；将大数据D进行横向切分，获得r个数据子集D_i，1≤i≤r，使得r个数据子集的全集为D，r个数据子集的样本总数为D的样本数量的5倍以上；

2)对得到的横向数据子集的属性进行随机抽样,得到若干规模较小的纵向数据子集；对每个数据子集D_i进行纵向切分，获得c个数据子集D_ij，1≤j≤c，使得c个数据子集的全集为D_i，c个数据子集的属性总数为D_i的属性数量的5倍以上；

3)对得到的纵向数据子集,进行基础聚类,得到若干基础聚类结果；

4)对纵向数据子集的基础聚类结果进行组合聚类,得到横向数据子集的类别标签；步骤4)中，利用基于K均值的一致性聚类方法对c个π_ij进行组合聚类，得到π_i作为D_i的类别标签；利用基于K均值的组合聚类方法对100个π_ij，1≤j≤c进行组合聚类，得到π_i作为D_i的类别标签；基于K均值的组合聚类方法如下：

(41)将100个基础聚类结果π_ij，转化为0-1矩阵，其转换方式如下：

用表示由上述基础聚类结果得到的0-1二元矩阵，n_i为D_i样本个数，其生成方式如下所示：

$x_l^{\left(b\right)}=\<x_{l,1}^{\left(b\right)},\mathrm{...}{x}_{l,j}^{\left(b\right)},\mathrm{...},x_{l,c}^{\left(b\right)}\>$

其中

$x_{l,j}^{\left(b\right)}=\<x_{l,j1}^{\left(b\right)},\mathrm{...},x_{l,jq}^{\left(b\right)},\mathrm{...},x_{l,{\mathrm{jK}}_i}^{\left(b\right)}\>,$

因此，是一个的矩阵，其中K_i为的π_ij簇个数，并且

(42)选择组合聚类效用函数U，并从中分解

如果效用函数U可以进行如下所示的分解，则可利用基于快速一致性聚类的框架进行求解；

其中，p_k表示第k个类占所有数据的比例，m_k,j表示π_ij的第k个类的中心，且上式中为凸函数；

(43)基于生成快速聚类法的距离函数，利用K均值聚类法的距离范式，$f(x,y)=\mathrm{\Φ}\left(x\right)-\mathrm{\Φ}\left(y\right)-{(x-y)}^T\▿\mathrm{\Φ}\left(y\right)$

其中

经验结果表明，基于熵的效用函数收敛速度快，并且还能够得到较好的聚类结果，其表达式如下:

${\mathrm{\Σ}}_{k=1}^K{p}_k(-H(m_{k,j}\left)\right)-(-H(P^{\left(i\right)}\left)\right)$

其对应的K均值距离函数为加和的KL散度，形式如下：

${\mathrm{\Σ}}_{i=1}^r{w}_{i}D\left(x_{l,j}^{\left(b\right)}\right|\left|m_{k,j}\right)$

(44)最后利用K均值聚类算法，在0-1矩阵上运用聚类函数f进行组合聚类，得到数据子集D_i的类别标签π_i；

5)将未出现在横向数据子集的数据点的类别标签标记为0；

6)对横向数据子集的类别标签进行组合聚类,得到整个数据集的类别标签；

7)模式输出，得到完整数据集的类别标签，完成大数据的分解组合聚类。