[发明专利]一种实时判断流数据自身给定延迟重复性的方法

说明书

给定延迟的自相关可用于判断时间序列或流数据自身给定延迟的重复性。本发明公开了一种通过迭代计算给定规模的计算窗口的指定延迟的自相关从而可以实时地判断时间序列或流数据自身给定延迟重复性的方法，系统和计算系统程序产品。本发明的实施方案包括基于调整前计算窗口的指定延迟的自相关的二个以上组件迭代计算调整后计算窗口的指定延迟的自相关的二个以上组件，然后根据需要基于迭代计算的二个以上组件生成调整后计算窗口的指定延迟的自相关。迭代计算自相关避免访问调整后计算窗口中的所有数据元素和执行重复计算从而提高计算效率，节省计算资源和降低计算系统能耗，使得实时判断流数据自身给定延迟重复性高效低耗及一些实时判断流数据自身给定延迟重复性的场景从不可能变为可能。

技术领域

大数据或流数据分析。

背景技术

互联网，移动通讯,导航,网游,感应技术和大规模计算基础设施每天生成海量数据。大数据就是由于其巨大规模,快速变化及增长速度而超出了传统数据库系统的处理能力及传统分析方法的分析能力的数据。

流数据就是通过一个提供器不断传送并连续地被接收的数据。流数据可以是搜集的来自传感器的实时数据并连续把数据传送到计算设备或电子设备上。通常这包括接收相同格式的通过时间间隔被连续划分的数据元素。流数据也可以是从存储设备连续读的数据，即存储在一至多台存储设备上的大数据集。

自相关，也被称为延迟相关或序列相关，是一个特定的时间序列与延迟了l个时间点的该时间序列本身的相关程度的一个度量。它可以通过一个时间序列的相隔了l个时间点的观察值的协相关除以其标准方差来得到。某个延迟的自相关值为1或接近1可认为流数据或流化大数据在该延迟后出现自身重复规律，因此基于给定延迟的自相关判断流数据自身给定延迟的重复性显而易见，而困难和挑战在于如何实时地在流数据上计算自相关。

自相关在流数据有一些数据变化后可能需要被重新计算以反映最新的数据状况。例如，也许要为包含最新加入存储媒体上的大数据集的n个数据元素的一个计算窗口计算自相关，这样每接收或访问一个数据元素，该数据元素被加入计算窗口而第n个数据元素被移出计算窗口，计算窗口中的n个数据元素就会被访问来重新计算自相关。这样，每次数据变化可能只改变了计算窗口中的一小部分数据。使用计算窗口中的所有数据元素来重新计算自相关涉及重复数据访问和计算，因此耗时并浪费资源。

取决于需要，计算窗口的规模可能非常大，例如计算窗口中的数据元素可能分布在云平台的成千上万台计算设备上。在一些数据变化后的流数据上用传统方法重新计算自相关无法做到实时处理并且占用和浪费大量计算资源,也使得一些实时地判断流数据自身给定延迟的重复性无法满足需求地实现。

发明内容

本发明拓展到方法，系统和计算设备程序产品以迭代方式计算流数据的给定延迟的自相关从而可以实时地判断流数据自身给定延迟的重复性。为一个调整后计算窗口迭代计算指定延迟l(l0)的自相关包括基于调整前计算窗口的指定延迟的自相关的两个以上(p(p1))组件迭代计算调整后计算窗口的指定延迟的自相关的两个以上组件然后根据需要基于迭代计算的两个以上组件生成调整后计算窗口的指定延迟的自相关。迭代计算自相关只需要访问和使用迭代计算的组件，新加入和去除的数据元素，以及计算窗口两边分别与新加入和去除数据元素相邻的各l个数据元素而避免访问调整后计算窗口中的所有数据元素和执行重复计算从而降低数据访问延迟，提高计算效率，节省计算资源和降低计算系统能耗，使得实时判断流数据自身给定延迟重复性高效低耗及一些实时判断流数据自身给定延迟重复性的场景从不可能变为可能。

计算系统包含一个缓冲区来存储流数据元素。这个缓冲区可以在内存或其它计算机可读媒介，如硬盘或其它媒介中，甚至可以是分配在多个计算设备上的多个分布式文件，它们逻辑上端到端互联而形成一个”循环缓冲区”。