[发明专利]一种实时预测流数据变化趋势的方法

说明书

本发明公开了一种通过流数据上一个变量实时预测另一个变量的变化趋势的方法,系统和计算系统程序产品。本发明的实施方案包括基于调整前计算窗口的简单线性回归系数的多个组件迭代计算调整后计算窗口的简单线性回归系数的多个组件,然后根据需要基于迭代计算的组件生成调整后计算窗口的简单线性回归系数。迭代计算简单线性回归系数可以基于最新数据实时更新预测结果并避免访问调整后计算窗口中的所有数据元素对和执行重复计算从而提高计算效率，节省计算资源和降低计算系统能耗。

技术领域

大数据或流数据分析。

背景技术

互联网,移动通讯,导航,网游,感应技术和大规模计算基础设施每天产生 海量数据。大数据就是由于其巨大规模,快速变化及增长速度而超出了传统数据 库系统的处理能力及传统分析方法的分析能力的数据。如何高效实时并节省资源 地处理和分析大数据带给数据分析师和计算机科学家一个艰难的挑战。

流数据是从数据源不断传出并连续地被接收器接收的数据。流数据可以 是传感器采集并连续传送到计算设备或电子设备上的实时数据。通常这包括连续 接收有时间间隔,具有相似格式的数据元素。流数据也可以是从存储器连续读出 的数据,例如存储在多个计算设备存储器上的大数据集。因此,流数据处理算法可 以延伸到大数据处理上,因为大数据集随着时间积累而可以被认为是具有不规律 时间间隔的数据流。

当两个数量变量有强线性相关关系时，简单线性回归可基于一个独立变 量(也叫解释变量或自变量)的观测数据实时预测另一个从属变量(也叫反应变 量或因变量)的值，即可以基于一个变量的变化趋势预测另一个变量的变化趋势。 当在流数据上做简单线性回归计算时，可能需要访问大量数据元素。

在新的数据元素被接收后简单线性回归系数可能需要被重新计算以反映 最新的数据变化趋势及得到利用了最新数据的预测结果。因此，一些(可能很多) 数据元素会被重复访问。例如,也许要为包含最新加入存储媒体上的大数据集的 n个数据元素对的一个计算窗口计算简单线性回归系数,这样每接收或访问一个 数据元素对,该数据元素对被加入计算窗口而第n个数据元素对被移出计算窗口, 计算窗口中的n个数据元素对就会被访问来重新计算简单线性回归系数。使用计 算窗口中的所有数据元素来重新计算简单线性回归系数涉及重复数据访问和计 算,因此耗时并浪费资源。

取决于需要,计算窗口的规模或长度可能非常大,例如计算窗口中的数据 元素可能分布在云平台的成千上万台计算设备上。在不断有数据变化的流数据上

发明内容

本发明拓展到方法,系统和计算系统程序产品以迭代方式计算数据流的简 单线性回归系数从而可以实时预测流数据变化趋势。计算系统包含一个或多个计 算设备。每个计算设备包含一个或多个处理器。计算系统可以访问一个或两个数 据流。计算系统包含一个或两个缓冲区在一个或多个存储媒介上。计算系统保持 一个计算窗口长度计数器。计算窗口长度计数器指明缓冲区的计算窗口中数据元 素对的数量。为一个调整后计算窗口迭代计算简单线性回归系数包括基于调整前 计算窗口的简单线性回归系数的多个组件迭代计算调整后计算窗口的简单线性 回归系数的多个组件然后根据需要基于迭代计算的组件生成调整后计算窗口的 简单线性回归系数。迭代计算简单线性回归系数只需要访问和使用迭代计算的组 件,新加入和去除的数据元素对而避免访问调整后计算窗口中的所有数据元素和 执行重复计算从而降低数据访问延迟,提高计算效率,节省计算资源和降低计算系 统能耗。

计算窗口中每个变量的和或平均值是必须迭代计算的特殊组件。和或平 均值可以被直接或间接迭代计算。对于一个给定的简单线性回归系数迭代算法, 假设在同一轮迭代计算中所有迭代计算的组件(包括计算窗口中每个变量的和或 平均值)总数为p(p≥3)。直接迭代的组件个数为v(v≥1),则间接迭代的组件 个数为w＝p-v(w≥0)。