[发明专利]一种基于云计算的大数据信息分析系统

说明书

本发明公开了一种基于云计算的大数据信息分析系统，该分析系统利用了大数据处理过程中，部分的数据之间存在明显的关联性的特征，在信息传输受网络状况、信息量等因素的影响而无法正常、实时的进行时，直接在数据存储模块中读取具有相似趋势的历史数据来替代实时数据进行计算处理，从而在降低对分析目标结果影响的前提下减少数据传输高峰期等情况下数据拥堵，数据传输与处理的实时性无法得到满足的情况；另外对于高频预处理数据，对数据进行一次处理，并将处理后得到的高频预处理数据传输至暂存模块进行存储与更新，各对应分析目标读取对应的高频预处理数据进行使用；这样能够显著降低数据的重复处理与存储，从而有效释放云计算处理模块的算力。

技术领域

本发明属于大数据分析技术领域，具体的，涉及一种基于云计算的大数据信息分析系统。

背景技术

信息分析是通过对采集的大量信息进行分析处理，获取其中的规律以及趋势等信息，而现有技术中利用云计算能够对大量数据进行同时的处理，其具有处理数据量大、速度快、类型多、价值高以及具有真实性的特点，因此利用云计算进行大数据信息分析的技术得到了快速的发展和广泛的应用；

在大数据技术的应用过程中，存在数据采集的量大、种类杂的问题，而大量的数据传输与处理会占用云计算的计算能力，并且提升了对数据传输能力的要求，对于一些中小型企业由于成本问题，可能无法满足在高峰期对应的算力配置以及数据传输能力，为了解决上述问题，充分利用现有的算力配置与数据传输能力以达到良好的、更多的数据处理，本发明提供了以下技术方案。

发明内容

本发明的目的在于提供一种基于云计算的大数据信息分析系统，解决现有技术中由于成本问题，部分企业可能在高峰期无法满足对应的算力配置以及数据传输能力需求的问题。

本发明的目的可以通过以下技术方案实现：

一种基于云计算的大数据信息分析系统，包括：

数据采集模块，用于对需要的原始数据进行采集；

云计算处理模块，用于对数据进行处理；

数据存储模块，用于对数据进行存储；

上述的一种基于云计算的大数据信息分析系统的工作方法为：

S1、获取一个分析目标对应的底层数据，以该分析目标作为处理对象，以其中一个必不可少的底层数据为基础底层数据，获取该分析目标对应的其它底层数据与基础底层数据的重合度C；

S2、按照步骤S1中的方法获取各分析目标的底层数据，并在确定各分析目标的基础底层数据后，获取各分析目标内底层数据与对应基础底层数据的重合度C；

S3、对云计算处理模块处理的各分析目标按照重要性进行等级划分，在数据传输能力充足时，将所有的底层数据传输至云计算处理模块；

当数据传输能力不足时，按照分析目标重要性由小到大，同一分析目标内底层数据按照其与对应基础底层数据的重合度C由大到小的顺序暂停部分底层数据的传输，并根据被暂停传输的底层数据与对应基础底层数据之间的对应关系在数据存储模块中读取对应被暂停传输的底层数据的预测数据，以该预测数据替代对应被暂停传输的底层数据。

作为本发明的进一步方案，一组底层数据能够通过一次处理获得对应的分析目标；

所述底层数据包括原始数据与预处理数据，预处理数据是指以对应的一项或者多项原始数据为基础通过子分析模块或者云计算处理模块处理得到的数据。

作为本发明的进一步方案，步骤S1中获取重合度C的方法包括如下步骤：

S11、获取该基础底层数据的变化时间点，将各变化时间点依次标记为G1、G2、……、Gn，n为基础底层数据的变化时间点的数量；