[发明专利]一种基于云服务平台的大数据计算控制系统及方法

说明书

本发明属于大数据技术领域，公开了一种基于云服务平台的大数据计算控制系统及方法；利用数据采集模块采集各项数据，将原始数据和经过并行处理模块和日志处理模块处理后的数据通过数据存储模块存储在存储器中，用户可以通过显示模块查看各项数据。利用Spark内存计算技术，完成各项常用分析算法，提高了效率与容错率，同时对实时性要求高的计算结果推送给应用层或客户端；利用时间序列分析法有效实现对实时动态数据的监控及未来趋势的预测；利用实时大数据计算分析技术，完成调度算法、动态预测、安全分析，分析电力或其他能源的购买量、预测能源消费、管理能源用户。本发明结构合理，可以有效提高能源的利用。

技术领域

本发明属于大数据技术领域，尤其涉及一种基于云服务平台的大数据计算控制系统及方法。

背景技术

目前，业内常用的现有技术是这样的：随着时代发展，大数据已经渗透我们生活的方方面面。在经济生活或者工业生产中产生的数据量越来越大，传统的计算控制系统已经不足以应对如此巨大的数据量。为了充分利用这些数据，以进一步加快技术的进步或者更好的服务于人们的生活，催生了大数据系统。能源管理平台作为独立的软件系统存在，关键功能在于展现能耗分类指标，未能与生产控制系统结合起来，难以实现能耗自动化、智能化监视及反向控制的目标。现有的大数据分析技术内存占用率高，导致运算速率低；运算效率不高，数据反馈慢。

综上所述，现有技术存在的问题是：现有的大数据分析技术内存占用率高，导致运算速率低；运算效率不高，数据反馈慢。

发明内容

针对现有技术存在的问题，本发明提供了一种基于云服务平台的大数据计算控制系统及方法。

本发明是这样实现的，一种基于云服务平台的大数据计算控制方法，所述基于云服务平台的大数据计算控制包括以下步骤：

第一步，采集各项数据；

第二步，对日志数据进行时间序列化处理，形成数据流；基于多粒度通讯的Dijkstra并行算法、Spark内存计算技术、时间序列分析法的实时大数据计算分析处理采集数据，生成并行结果；

第三步，合并并行结果，生成处理结果；

第四步，利用存储器将采集的数据资源及处理后的数据进行存储；

第五步，利用显示器显示所述数据存储模块中的数据信息。

进一步，所述第二步中多粒度通讯的Dijkstra并行算法包括：从数据源点开始，寻找与数据源点关联的数据节点，然后从中取出权值最小数据节点；重复扩张过程，并更新对应数据节点的权值；当数据节点权值不能再进行更新时，将该数据节点的标识修改为永久标识；数据节点的权值为该数据节点到数据源点的最短距离；当从数据源点和数据终点开始的进程首次将某一个节点的标识都修改为永久标识时，则可判定由源点经该节点到终点的路径为最短路径。

进一步包括：

(1)开辟两个进程1，2，分别从源点和终点开始扩张；

(2)将永久标识的节点发送给进程2，在进程2中判断该点标识是否也被修改成永久标识；同样的，进程2把永久标识节点发送给进程1，作同样的判断；若已存在被两个进程都标识为永久标识的节点时，则停止运算；若不存在，则继续进行节点的扩张；

(3)重复节点选择和节点松弛操作，将新得到的永久标识节点在进程间进行交换，重复(2)直至获取到最终路径为止。

进一步，所述第二步中时间序列分析法包括：

(1)对时间序列数据进行平稳性检验，通过时间序列的散点图或折线图对序列进行初步的平稳性判断；采用ADF单位根检验来精确判断该序列的平稳性；对非平稳的时间序列，先对数据进行取对数或进行差分处理，然后判断经处理后序列的平稳性；重复以上过程，直至成为平稳序列；