[发明专利]基于更新、储存及响应约束的多粒度分组聚合选择

说明书

技术领域

本发明一般涉及数据处理系统，更具体地说，涉及这种数据处理系统中在时间维度上改进的关系数据聚合选择技术。

背景技术

在电子支付交易欺诈侦查的应用中，欺诈侦查软件通常要求计算在多个时间段内的交易量或合计总金额。其目的是建立支付接收者、支付发起者或一对发起者和接收者的支付历史的统计以便评估当前支付交易为欺诈的可能性。例如，在没有最近历史的一对之间大批量、小金额支付交易的激增表明支付发起人的行为改变或被第三方盗取的账号。被怀疑的交易随后应当被标记调查。

公共欺诈侦查软件依靠关系数据库管理系统来储存和管理支付交易记录。根据电子支付类型，交易记录能够在任何时间被单独插入数据库或在固定时间间隔被批量插入。欺诈侦查软件随后将结构化查询语言（SQL）中的查询发出至底层关系数据库以便收集关于参与该交易各方的聚合统计。

必须迅速答复聚合统计查询从而使欺诈侦查软件能够在瞬间做出决定。在数据库中存在数亿个交易时，只有通过也被称为物化表（materialized table）的预计算结果能够实现次秒级的查询响应时间。这些物化表储存聚合值，诸如基于通过欺诈侦查软件发出的预定义查询的原始数据库交易记录的合计和计算。该系统的效率和精确性取决于这种物化聚合表的选择。

发明内容

本发明的原理提供用于基于更新、储存及响应约束的多粒度分级聚合选择的技术。

例如，在本发明的一个方面中，对于与多个数据库记录相关的聚合统计的临时分级而言，其中临时分级包含两个或更多个聚合统计级别，并且每个级别都具有与其相关的不同临时粒度，一种方法包含迭代更改临时分级以便下列的至少其中之一：（a）最小化储存使用成本同时满足临时分级更新约束和查询响应时间约束；（b）减少临时分级更新时间和查询响应时间同时满足储存使用约束；并且（c）最小化用于未及时转换的频繁应用查询的查询响应时间同时满足储存使用约束，其中实现（a）、（b）及（c）至少其中之一的生成临时分级被识别为最佳临时分级。

有利地是，本发明示例性原理提供聚合选择技术，其产生多个时间粒度内的若干个物化关系表以便面对频繁插入数据来加速关系数据库查询。这些物化关系表储存聚合值，诸如在指定时间段内原始数据库交易记录的合计和计算。随着新交易记录不断插入，聚合值通常表示需要维持新鲜度的数据的基础统计。

结合附图，通过本发明示例性实施例的下列详细说明，本发明的这些以及其它目的、特征及优点将变得显而易见。

附图说明

图1A示出数据处理系统的方块图，图中本发明的一个或多个示例性实施例得以实施。

图1B示出根据本发明一个实施例的最佳聚合选择系统的方块图。

图2示出根据本发明一个实施例，临时聚合的关系就像金字塔，较细粒度聚合在底部而粗粒度聚合在顶部。

图3示出根据本发明一个实施例，当新数据记录插入时随着时间的滑动窗口查询。

图4示出根据本发明一个实施例，聚合以每年、每月及每日为间隔进行预计算的情况。

图5示出根据本发明一个实施例，聚合以每年、每季度及每周为间隔进行预计算的情况。

图6是根据本发明一个实施例，选择性物化时间分级中的某些级别，以便最小化额外储存空间的步骤流程图。

图7是根据本发明一个实施例，选择性物化时间分级中的某些级别，以便最小化更新和查询成本的步骤流程图。

图8是根据本发明一个实施例，跨时间分级而选择性物化某些颗粒（granule），以便最小化查询响应时间的步骤流程图。

具体实施方式

在本文中，将在一个或多个示例性数据处理系统上下文中描述本发明的示例性实施例。然而，可以理解，本发明的原理不限于任何特定的数据处理系统，并且可以在不同于本文所描述的示例性系统的系统中得以实施。

通过本发明示例性原理解决的关键问题是在受查询响应时间、更新成本、及储存使用约束的数据库中选择物化表的问题。更具体地，查询工作量的本质是在指定滑动窗口上的聚合交易。例如，工作量可以包含对于过去一天、一周、一个月、六个月、一年、及五年的周期内，对计算给定支付发起者的交易量的查询。它还可以包含对于过去一天、一周、一个月、及一年的周期内，对计算一对支付发起者和接收者之间交易的平均金额的查询。