[发明专利]一种实时判断大数据分布密度集中程度的方法

说明书

峰度可用于判断数据分布密度的集中和分散程度。本发明公开了一种通过迭代计算指定规模的计算子集的峰度的两个以上组件来实时地迭代地计算大数据的峰度从而可以实时地判断大数据分布密度集中程度的方法,系统,和计算系统程序产品。本发明的实施方案包括基于调整前计算子集的峰度的二个以上组件迭代计算调整后计算子集的峰度的二个以上组件,然后根据需要基于迭代计算的二个以上组件生成调整后计算子集的峰度。迭代计算峰度可以基于最新数据实时更新计算结果并避免访问调整后计算子集中的所有数据元素和执行重复计算从而提高计算效率，节省计算资源和降低计算系统能耗，使得实时判断大数据分布密度集中程度能够高效低耗及一些实时判断大数据分布密度集中程度的场景从不可能变为可能。

技术领域

大数据或流数据分析。

背景技术

互联网，移动通讯,导航,网游,感应技术和大规模计算基础设施每天产生海量数据。大数据就是由于其巨大规模,快速变化及增长速度而超出了传统数据库系统的处理能力及传统分析方法的分析能力的数据。

峰度反映了数据密度分布相对于正态分布的集中程度。因此计算峰度后判断大数据分布密度集中程度显而易见，困难和挑战在于如何实时地在大数据上计算峰度。

为了能够随时得到利用了最新数据的判断结果，峰度可能会在大数据集有变化后需要重新计算。因此，一些(可能很多)数据元素会被重复访问和使用。例如，有可能峰度在含有n个数据元素的计算子集上被计算。当一个数据元素从计算子集里被去除和一个数据元素被加入计算子集后，计算子集里所有的n个数据元素都被访问来重新计算峰度。

取决于需要，计算子集的规模可能非常大，例如计算子集中的数据元素可能分布在云平台的成千上万台计算设备上。在一些数据变化后的大数据上用传统方法重新计算峰度无法做到实时处理并且占用和浪费大量计算资源。

发明内容

峰度可用于判断数据分布密度的集中和分散程度。本发明拓展到方法，系统，和计算系统程序产品以迭代方式计算大数据的调整后计算子集的峰度从而可以实时判断大数据分布密度集中程度。为一个调整后计算子集迭代计算峰度包括基于调整前计算子集的峰度的多个组件迭代计算调整后计算子集的峰度的多个组件然后根据需要基于迭代计算的组件生成调整后计算子集的峰度。迭代计算峰度只需要访问和使用迭代计算的组件，新加入和去除的数据元素而避免访问调整后计算子集中的所有数据元素和执行重复计算从而降低数据访问延迟，提高计算效率，节省计算资源和降低计算系统能耗，使得实时判断大数据分布密度集中程度能够高效低耗及一些实时判断大数据分布密度集中程度从不可能变为可能。

对于一个给定的峰度迭代算法,假设在同一轮迭代计算中所有迭代计算的组件(包括计算子集的和或平均值)总数为p(p1)。直接迭代的组件个数为v(1≤v≤p),则间接迭代的组件个数为w＝p-v(w≥0)。其中计算子集的和或平均值是必须迭代计算的特殊组件。和或平均值可以被直接或间接迭代计算。

计算系统初始化存储在一个或多个存储媒体上的一个大数据集的一个调整前计算子集的峰度的，包括一个和或一个平均值在内的，两个以上(p,p1)组件。该两个以上组件的初始化包括从计算设备可读媒体上接收或访问已计算过的组件或基于调整前计算子集中的数据元素根据组件的定义来计算。

计算系统访问一个要从调整前计算子集中去除的数据元素和一个要被加入到调整前计算子集的数据元素。

计算系统通过从调整前计算子集中去除要去除的数据元素和向调整前计算子集加入要加入的数据元素来调整调整前计算子集。

计算系统迭代计算调整后计算子集的一个和或一个平均值或一个和及一个平均值。