[发明专利]一种实时判断流数据分布不对称性的方法

说明书

偏态可用于判断数据分布不对称性。本发明公开了一种通过迭代计算指定规模的计算窗口的偏态的两个以上组件来实时地迭代地计算流数据的偏态从而可以实时地判断流数据分布不对称性的方法,系统和计算系统程序产品。本发明的实施方案包括基于调整前计算窗口的偏态的二个以上组件迭代计算调整后计算窗口的偏态的二个以上组件,然后根据需要基于迭代计算的二个以上组件生成调整后计算窗口的偏态。迭代计算偏态可以基于最新数据实时更新计算结果并避免访问调整后计算窗口中的所有数据元素和执行重复计算从而提高计算效率，节省计算资源和降低计算系统能耗，使得实时判断流数据分布不对称性能够高效低耗及一些实时判断流数据分布不对称性从不可能变为可能。

技术领域

大数据或流数据分析。

背景技术

互联网,移动通讯,导航,网游,感应技术和大规模计算基础设施每天产生海量数据。大数据就是由于其巨大规模,快速变化及增长速度而超出了传统数据库系统的处理能力及传统分析方法的分析能力的数据。如何高效实时并节省资源地处理和分析大数据带给数据分析师和计算机科学家一个艰难的挑战。

流数据是从数据源不断传出并连续地被接收器接收的数据。流数据可以是传感器采集并连续传送到计算设备或电子设备上的实时数据。通常这包括连续接收有时间间隔,具有相似格式的数据元素。流数据也可以是从存储器连续读出的数据,例如存储在多个计算设备存储器上的大数据集。因此,流数据处理算法可以延伸到大数据处理上,因为大数据集随着时间积累而可以被认为是具有不规律时间间隔的数据流。

有些统计计算在新的数据元素被接收后可能需要被重新计算以反映最新的数据状况。例如,也许要为包含最新加入存储媒体上的大数据集的n个数据元素的一个计算窗口计算偏态,这样每接收或访问一个数据元素,该数据元素被加入计算窗口而第n个数据元素被移出计算窗口,计算窗口中的n个数据元素就会被访问来重新计算偏态。使用计算窗口中的所有数据元素来重新计算偏态涉及重复数据访问和计算,因此耗时并浪费资源。

取决于需要,计算窗口的规模可能非常大,例如计算窗口中的数据元素可能分布在云平台的成千上万台计算设备上。在一些数据变化后的流数据上用传统方法重新计算偏态无法做到实时处理并且占用和浪费大量计算资源。

发明内容

偏态可用于判断数据分布不对称性。本发明公开了一种通过迭代计算指定规模的计算窗口的偏态的两个以上组件来实时地迭代地计算流数据的偏态从而可以实时地判断流数据分布不对称性的方法,系统和计算系统程序产品。为一个调整后计算窗口的一个数据元素迭代计算偏态包括基于调整前计算窗口的该数据元素的偏态的两个以上组件迭代计算调整后计算窗口的该数据元素的偏态的两个以上组件然后根据需要基于迭代计算的两个以上组件生成调整后计算窗口的该数据元素的偏态。迭代计算偏态只需要访问和使用迭代计算的组件,新加入和去除的数据元素而避免访问调整后计算窗口中的所有数据元素和执行重复计算从而降低数据访问延迟,提高计算效率,节省计算资源和降低计算系统能耗，使得实时判断流数据分布不对称性能够高效低耗及一些实时判断流数据分布不对称性从不可能变为可能。

计算窗口的和或平均值是必须迭代计算的特殊组件。假设在同一轮迭代计算中所有迭代计算的组件(包括计算窗口的和或平均值)总数为p(p1)。直接迭代的组件个数为v(1≤v≤p),则间接迭代的组件个数为w＝p-v(w≥0)。其中计算窗口的和或平均值是必须迭代计算的特殊组件。和或平均值可以被直接或间接迭代计算。

计算系统初始化一个数据流的存储于一个缓冲区上的指定计算窗口规模为n(n1)的一个调整前计算窗口的两个以上组件(共p(p1)个，包括一个和或一个平均值或一个和及一个平均值,以及偏态的其它一个或多个组件)。该两个以上组件的初始化包括基于该调整前计算窗口中的数据元素通过组件的定义计算两个以上组件或从计算设备可读媒体上接收或访问已计算的两个以上组件。

计算系统接收一个要加入该调整前计算窗口的新的数据元素。

计算系统保存接收的数据元素到一个缓冲区中。