[发明专利]一种基于云服务平台的大数据计算控制系统及方法

摘要

本发明属于大数据技术领域，公开了一种基于云服务平台的大数据计算控制系统及方法；利用数据采集模块采集各项数据，将原始数据和经过并行处理模块和日志处理模块处理后的数据通过数据存储模块存储在存储器中，用户可以通过显示模块查看各项数据。利用Spark内存计算技术，完成各项常用分析算法，提高了效率与容错率，同时对实时性要求高的计算结果推送给应用层或客户端；利用时间序列分析法有效实现对实时动态数据的监控及未来趋势的预测；利用实时大数据计算分析技术，完成调度算法、动态预测、安全分析，分析电力或其他能源的购买量、预测能源消费、管理能源用户。本发明结构合理，可以有效提高能源的利用。

主权项

1.一种基于云服务平台的大数据计算控制方法，其特征在于，所述基于云服务平台的大数据计算控制包括以下步骤：第一步，采集各项数据；第二步，对日志数据进行时间序列化处理，形成数据流；基于多粒度通讯的Dijkstra并行算法、Spark内存计算技术、时间序列分析法的实时大数据计算分析处理采集数据，生成并行结果；第三步，合并并行结果，生成处理结果；第四步，利用存储器将采集的数据资源及处理后的数据进行存储；第五步，利用显示器显示所述数据存储模块中的数据信息。