[发明专利]一种基于云计算平台的大数据聚类方法及系统

说明书

本发明公开了一种基于云计算平台的大数据聚类方法及系统，包括以下步骤：收集数据对象并识别数据对象的直接特征，并对数据对象深度剖析以区分不同种类的数据对象和汇聚相同种类的数据对象；将数据对象的特征细化以创建分类层树状图，且数据对象的聚类深度与分类层树状图的分级自下到上一一匹配；根据数据对象的直接特征确定数据对象在分类层树状图内的分支路径，并利用转换模型确定数据对象的聚类分项，以对大数据分类聚簇保存；本发明以收集的数据对象对应的直接特征为起点，通过遍历所有数据对象的直接特征之间的关联权重，选取关联权重大的直接特征合并到同一个聚类分项内，重复操作，直至生成至少一个分类层树状图。

技术领域

本发明涉及大数据聚类技术领域，具体涉及一种基于云计算平台的大数据聚类方法及系统。

背景技术

云计算是分布式计算的一种，具体的作用是通过网络“云”将巨大的数据计算处理程序分解成无数个小程序，然后，通过多部服务器组成的系统进行处理和分析这些小程序得到结果并返回给用户。云计算早期，简单地说，就是简单的分布式计算，解决任务分发，并进行计算结果的合并。因而，云计算又称为网格计算。通过这项技术，可以在很短的时间内完成对数以万计的数据的处理，从而达到强大的网络服务。

随着信息技术的高速发展，数据库应用的规模、范围和深度的不断扩大，导致积累了大量的数据，而这些激增的数据后面隐藏着许多重要的信息，因此人们希望能够对其进行更高层次的分析，以便更好地利用这些数据。目前的数据库系统可以高效、方便地实现数据的录入、查询、统计等功能，但是无法发现数据中存在的各种关系和规则，更无法根据现有的数据预测未来的发展趋势。而数据聚类分析正是解决这一问题的有效途径，它是数据挖掘的重要组成部分，用于发现在数据库中未知的对象类，为数据挖掘提供有力的支持，它是近年来广为研究的问题之一。聚类分析是一个极富有挑战性的研究领域，采用基于聚类分析方法的数据挖掘在实践中已取得了较好的效果。聚类分析也可以作为其他一些算法的预处理步骤，聚类可以作为一个独立的工具来获知数据的分布情况，使数据形成簇，其他算法再在生成的簇上进行处理，聚类算法既可作为特征和分类算法的预处理步骤，也可将聚类结果用于进一步关联分析。

由于大数据聚类需要对数据对象进行拆解、分析和聚簇搭建，因此需要很多程序去计算如何将相似性的对象进行聚簇以及如何对差异性的数据进行区分，因此利用云计算平台提供了大数据聚类的稳定快速计算平台。

而现有的大数据聚类方式，虽然可以对数据量大、数据相似或重复的情况进行聚类，但是其没有剖析不同数据对象之间的关联，导致不同数据聚簇之间的相似性混乱，而且差异性也不足，无法起到真正的大数据聚类功能。

发明内容

本发明的目的在于提供一种基于云计算平台的大数据聚类方法及系统，以解决现有技术中没有剖析不同数据对象之间的关联，导致不同数据聚簇之间的相似性混乱，而且差异性也不足，无法起到真正的大数据聚类功能的技术问题。

为解决上述技术问题，本发明具体提供下述技术方案：

一种基于云计算平台的大数据聚类方法，包括以下步骤：

步骤100、收集数据对象并识别所述数据对象的直接特征，并对所述数据对象深度剖析以区分不同种类的所述数据对象和汇聚相同种类的所述数据对象；

步骤200、将所述数据对象的特征细化以创建分类层树状图，且所述数据对象的聚类深度与所述分类层树状图的分级自下到上一一匹配；

步骤300、根据所述数据对象的直接特征确定所述数据对象在所述分类层树状图内的分支路径，并利用所述转换模型确定所述数据对象的聚类分项，以对大数据分类聚簇保存。

作为本发明的一种优选方案，在步骤100中，利用预处理池暂存所述数据对象并确定每种所述数据对象的直接特征，将每种所述数据对象的直接特征作为所述分类层树状图的起点，并按照自底向上的方式建立整个关于不同种类的所述数据对象的所述分类层树状图，创建所述分类层树状图的实现方式为：