[发明专利]一种基于云服务平台的大数据计算控制系统及方法

权利要求书

1.一种基于云服务平台的大数据计算控制方法，其特征在于，所述基于云服务平台的大数据计算控制包括以下步骤：

第一步，采集各项数据；

第二步，对日志数据进行时间序列化处理，形成数据流；基于多粒度通讯的Dijkstra并行算法、Spark内存计算技术、时间序列分析法的实时大数据计算分析处理采集数据，生成并行结果；

第三步，合并并行结果，生成处理结果；

第四步，利用存储器将采集的数据资源及处理后的数据进行存储；

第五步，利用显示器显示所述数据存储模块中的数据信息。

2.如权利要求1所述的基于云服务平台的大数据计算控制方法，其特征在于，所述第二步中多粒度通讯的Dijkstra并行算法包括：从数据源点开始，寻找与数据源点关联的数据节点，然后从中取出权值最小数据节点；重复扩张过程，并更新对应数据节点的权值；当数据节点权值不能再进行更新时，将该数据节点的标识修改为永久标识；数据节点的权值为该数据节点到数据源点的最短距离；当从数据源点和数据终点开始的进程首次将某一个节点的标识都修改为永久标识时，则可判定由源点经该节点到终点的路径为最短路径。

3.如权利要求2所述的基于云服务平台的大数据计算控制方法，其特征在于，进一步包括：

(1)开辟两个进程1，2，分别从源点和终点开始扩张；

(2)将永久标识的节点发送给进程2，在进程2中判断该点标识是否也被修改成永久标识；同样的，进程2把永久标识节点发送给进程1，作同样的判断；若已存在被两个进程都标识为永久标识的节点时，则停止运算；若不存在，则继续进行节点的扩张；

(3)重复节点选择和节点松弛操作，将新得到的永久标识节点在进程间进行交换，重复(2)直至获取到最终路径为止。

4.如权利要求1所述的基于云服务平台的大数据计算控制方法，其特征在于，所述第二步中时间序列分析法包括：

(1)对时间序列数据进行平稳性检验，通过时间序列的散点图或折线图对序列进行初步的平稳性判断；采用ADF单位根检验来精确判断该序列的平稳性；对非平稳的时间序列，先对数据进行取对数或进行差分处理，然后判断经处理后序列的平稳性；重复以上过程，直至成为平稳序列；

(2)利用自相关系数和偏自相关系数这两个统计量识别ARMA(p，q)模型的系数特点和模型的阶数；若平稳序列的偏相关函数是截尾的，而自相关函数是拖尾的，可断定序列适合AR模型；若平稳序列的偏相关函数是拖尾的，而自相关函数是截尾的，则可断定序列适合MA模型；若平稳序列的偏相关函数和自相关函数均是拖尾的，则序列适合ARMA模型；自相关函数成周期规律的序列，可选用季节性乘积模型；自相关函数规律复杂的序列，可能需要作非线性模型拟合；

(3)确定模型阶数后，应对ARMA模型进行参数估计；采用最小二乘法OLs进行参数估计；

(4)完成模型的识别与参数估计后，应对估计结果进行诊断与检验，以求发现所选用的模型是否合适；若不合适，应该知道下一步作何种修改。

5.如权利要求1所述的基于云服务平台的大数据计算控制方法，其特征在于，所述第四步中利用存储器将采集的数据资源及处理后的数据进行存储具体包括：

(1)将采集的数据资源及处理后的数据划分，对每次的数据进行分别处理；

(2)根据采集时间数据处理精度，将每次所有时间点按顺序进行标记；

(3)用128位的随机数种子S，S以SHA-1 256算法进行Hash，Hash所得256位数据一分为二，即S₁₁和S₁₂；S₁₁和S₁₂重复上述过程，继续通过SHA-1 256进行扩展和分裂；扩展和分裂操作将持续到所产生的二叉树叶子节点能够覆盖所选择精度对应的所有时间点；

(4)将(2)产生的标记，按编号顺序，对应到第三步产生的叶子节点上，或者说每个时间点被转化成了256位的Hash值；

(5)根据叶子节点情况进行合并，合并后转变为上层节点，直到无法合并为止；

(6)合并后的节点进行乱序处理，作为起止时间Node数据存储。