[发明专利]基于Spark的快速寻找聚类中心的方法和系统

权利要求书

1.一种快速寻找聚类中心的方法，其特征在于，包括：

步骤1，基于Spark并行计算框架读取储存在分布式文件系统中的数据集，并生成弹性分布式数据集；

步骤2，对该弹性分布式数据集进行并行处理，得到第一数据点到第二数据点之间的第一距离；设定阈值，将该第一距离和该阈值，并行处理得到该第一数据点的密度；将该密度生成广播变量并分配到计算结点；

步骤3，对该广播变量和第一距离并行处理，得到近邻点，以及该第一数据点到该近邻点的第二距离；

步骤4，根据该密度和该第二距离选出聚类中心，进行类别指定，完成聚类。

2.如权利要求1所述的快速寻找聚类中心的方法，其特征在于，所述步骤1之前还包括：

步骤0，配置Spark参数，包括数据读取路径、数据存储路径和阈值设置参数，初始化Spark环境。

3.如权利要求1所述的快速寻找聚类中心的方法其特征在于，所述步骤2具体包括：

步骤21，定义该第二数据点为该弹性分布式数据集中，除该第一数据点以外的所有数据点；

步骤22，将所有该第一数据点的该第一距离进行升序排序，并根据该阈值设置参数，选取排序序列中某一该第一距离作为该阈值。

步骤23，该密度其中其中d_ij为该第一距离，d_c为该阈值。

4.如权利要求1或3所述的快速寻找聚类中心的方法，其特征在于，步骤3还包括：

以比该第一数据点的密度大的该第二数据点中，距离该第一数据点最近的数据点为该近邻点；

以该第一数据点到该近邻点的距离，为该第二距离；

该第二距离其中ρ_i为第一数据点的密度，ρ_j为第二数据点的密度。

5.如权利要求1所述的快速寻找聚类中心的方法，其特征在于，步骤4具体包括：

步骤41，通过该密度和该第二距离画出决策图，并以该决策图确定聚类中心；

步骤42，将所有数据点按照该密度降序排列后，遍历该数据集；根据该聚类中心的类别信息进行类别指定，输出聚类结果。

6.一种快速寻找聚类中心的系统，其特征在于，该系统包括：

数据读取模块，用于基于Spark并行计算框架读取储存在分布式文件系统中的数据集，并生成弹性分布式数据集。

密度获取模块，用于对该弹性分布式数据集进行并行处理，得到第一数据点到第二数据点之间的第一距离；设定阈值，将该第一距离和该阈值，并行处理得到该第一数据点的密度；将该密度生成广播变量并分配到计算结点；

第二距离获取模块，用于通过对该广播变量和第一距离并行处理，得到近邻点，以及该第一数据点到该近邻点的第二距离；

聚类模块，用于对该密度和该第二距离并行处理，获得聚类中心，进行类别指定，完成聚类。

7.如权利要求6所述的快速寻找聚类中心的系统，其特征在于，该系统还包括：

初始化模块，用于配置系统算法参数，包括数据读取路径、数据存储路径和阈值确定参数，初始化Spark环境。

8.如权利要求6所述的快速寻找聚类中心的系统，其特征在于，所述密度获取模块还包括：

第一距离模块，用于得到得到第一数据点到第二数据点之间的第一距离；

阈值获取模块，用于将所有该第一数据点的该第一距离进行升序排序，并根据阈值设置参数，选取排序序列中某一该第一距离作为该阈值。

9.如权利要求6所述的快速寻找聚类中心的系统，其特征在于，所述第二距离获取模块还包括：

近邻点获取模块，用于获取该近邻点，其中以比该第一数据点的密度大的该第二数据点中，距离该第一数据点最近的数据点为该近邻点；

第二距离模块，用于获取该第二距离，其中以该第一数据点到该近邻点的距离，为该第二距离。

10.如权利要求6所述的快速寻找聚类中心的系统，其特征在于，所述聚类模块还包括：

聚类中心获取模块，用于通过该密度和该第二距离，画出决策图，并以该决策图确定聚类中心；

类别指定模块，将所有数据点按照该密度降序排列后，遍历该数据集；根据该聚类中心的类别信息进行类别指定，输出聚类结果。