[发明专利]数据立方体的动态增量更新

说明书

公开了用于在线分析处理(OLAP)数据立方体的动态增量更新的系统和方法。在实施例中，一种计算机实现的方法，包括：接收包括多个数据字段的实时交易事件数据；标识要被更新的目标数据立方体的多个标准查询语言(SQL)查询中的每一个的聚合计算函数，其中所述目标数据立方体呈多维形式，用于以在字段中组织的数值的形式存储OLAP数据；基于从更新的聚合字段数据库获得的当前聚合值和所述多个数据字段之一的值，递增地计算所述聚合计算函数；针对所述多个SQL查询中的每一个重复所述增量计算以获得所述目标数据立方体的更新的字段数据；以及用所述更新的字段数据来更新所述更新的聚合字段数据库。

技术领域

本发明总体上涉及管理和更新缓存的数据，并且更具体地涉及在线分析处理(OLAP)数据立方体的动态增量更新。

背景技术

商业情报(BI)是一种用于分析和聚合来自交易数据库的数据的技术驱动的过程，其中定期地(通常是是每晚一次)准备或刷新数据立方体。在线分析处理(OLAP)是许多BI应用背后的技术，其中一个或多个计算机处理器执行数据的多维分析。在OLAP期间收集的所有数据都被收集到事实表中。大多数生成大量数据的客户系统不能得到“交易地”分析或评估。因而，通常将OLAP数据聚合成OLAP数据立方体。在此过程期间生成的OLAP数据立方体可作为仪表板或报告展示给产品经理或客户群，以便他们收集业务见解。可以通过OLAP分析的数据的示例，包括来自在线门户和搜索引擎的web日志的点击流数据、银行业务、商店物流、销售点数据等，这些数据然后作为报告被提供给用户。通常，一个或多个处理器执行批处理作业以读取交易数据、挖掘数据日志、执行计算、求和、聚合等，并且每晚、每周、每月或每年将结果加载到OLAP数据立方体中。

发明内容

本发明提供了如权利要求1所述的方法，以及相应的系统和计算机程序。

附图说明

在下文的详细描述中，参照所提及的多个附图，通过本发明的示例性实施例的非限制性示例来描述本发明。

图1示出根据本发明实施例的计算基础设施。

图2示出根据本发明各方面的示例性环境。

图3A和3B示出根据本发明各方面的方法的步骤的流程图。

图4示出根据本发明各方面的示例性方法的流程图。

图5是根据本发明实施例的计算机功能的增量聚合的说明性示例。

图6是动态增量可刷新数据立方体高速缓存子集的框图。

具体实施方式

本发明总体上涉及管理和更新缓存的数据，并且更具体地涉及在线分析处理(OLAP)数据立方体的动态增量更新。如上所述，通常，一个或多个在线分析处理(OLAP)计算机处理器执行批处理作业以读取交易数据、挖掘数据记录、执行计算、求和、聚合等，并且每晚、每周、每月或每年将结果加载到OLAP数据立方体中。这样的批处理作业是高度资源密集的，因为有时总计达数百兆兆(terabytes)字节的数据的巨大数据集被从盘中读取、加载到存储器结构上、在数据计算中利用、以及加载到目标数据立方体中。通常，批量OLAP更新是在非高峰时间期间执行的，使得数据库性能在高峰营业时间期间不受影响。然而，随着待分析的数据量的增加，处理这些大数据集所需的时间也增加，并且可能运行到正常或高峰营业时间，从而导致处理中断，可能导致重大业务问题。结果，批处理作业的调度通常不断缩小，因此OLAP计算系统总是试图赶上批处理作业的处理。